数学手抄报：数学之美

　　这一系列文章的作者是google公司的科学家吴军。他毕业于清华大学计算机系(本科)和电子工程系(硕士)，并于1993-1996年在清华任讲师。他于1996年起在美国约翰霍普金斯大学攻读博士，并于XX年获得计算机科学博士学位。在清华和约翰霍普金斯大学期间，吴军博士致力于语音识别、自然语言处理，特别是统计语言模型的研究。他曾获得1995年的全国人机语音智能接口会议的最佳论文奖和XX年eurospeech的最佳论文奖。

　　吴军博士于XX年加入google公司，现任google研究院资深研究员。到google不久，他和三个同事们开创了网络搜索反作弊的研究领域，并因此获得工程奖。XX年，他和两个同事共同成立了中日韩文搜索部门。吴军博士是当前google中日韩文搜索算法的主要设计者。在google其间，他领导了许多研发项目，包括许多与中文相关的产品和自然语言处理的项目，并得到了公司首席执行官埃里克.施密特的高度评价。吴军博士在国内外发表过数十篇论文并获得和了近十项美国和国际专利。他于XX年起，当选为约翰霍普金斯大学计算机系董事会董事。

　　正是他在信息检索与自然语言处理领域中的一系列工作，使他讲述了我所看到的内容-数学之美。

　　看了数学之美，立即联想到了金庸小说中的武林高人，总是把一套大多数人都会的入门功夫使得威力无比，击溃众多敌者。东西放在那，它的威力如何，并键在于使用者，武术如此，数学同样如此。

　　于我而言，语音视别是一类高科技，作为非专业人土，深觉高奥。但看完数学之美之后，顿感惊诧，原来如此深奥东西的解决方法自己也学过，并且理工科读过大学的人都学过，那就是统计学中的条件概率p(a/b)，即b事件发生条件下a事件发生的概率。

　　如果s表示一连串特定顺序排列的词w1，w2，…，wn，换句话说，s可以表示某一个由一连串特定顺序排练的词而组成的一个有意义的句子。现在，机器对语言的识别从某种角度来说，就是想知道s在文本中出现的可能性，也就是数学上所说的s的概率用p(s)来表示。利用条件概率的公式，s这个序列出现的概率等于每一个词出现的概率相乘，于是p(s)可展开为：

　　p(s)=p(w1)p(w2|w1)p(w3|w1w2)…p(wn|w1w2…wn-1)

　　其中p(w1)表示第一个词w1出现的概率;p(w2|w1)是在已知第一个词的前提下，第二个词出现的概率;以次类推。不难看出，到了词wn，它的出现概率取决于它前面所有词。从计算上来看，各种可能性太多，无法实现。因此我们假定任意一个词wi的出现概率只同它前面的词wi-1有关(即马尔可夫假设)，于是问题就变得很简单了。现在，s出现的概率就变为：

　　p(s)=p(w1)p(w2|w1)p(w3|w2)…p(wi|wi-1)…

　　(当然，也可以假设一个词又前面n-1个词决定，模型稍微复杂些。)

　　接下来的问题就是如何估计p(wi|wi-1)。现在有了大量机读文本后，这个问题变得很简单，只要数一数这对词(wi-1,wi)在统计的文本中出现了多少次，以及wi-1本身在同样的文本中前后相邻出现了多少次，然后用两个数一除就可以了,p(wi|wi-1)=p(wi-1,wi)/p(wi-1)。