基于贝叶斯的垃圾邮件过滤算法的研究

维普资讯 http://www.cqvip.com １７４　２００７，４３（２３）　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｗ￣ｉｏｎｓ计算机工程与应用　基于贝叶斯的垃圾邮件过滤算法的研究　李　雯，刘培玉　ＬＩ　Ｗｅｎ，ＬＩＵ　Ｐｅｉ－ｙｕ　山东师范大学信息科学与工程学院，济南２５００１４　Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｄｏｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉ’ｎａｎ　２５００１４，Ｃｈｉｎａ　Ｅ—ｍａｉｌ：１ｗ　６５６＠ｈｏｔｍａｉｌ．ＣＯＢ　ＬＩ　Ｗｅｎ．ＬＩＵ　Ｐｅｉ—ｙｕ．Ｒｅｓｅａｒｃｈ　ｏｎ　ａｎｔｉ—ｓｐａｍ　ｅ－ｍａｉｌ　ｆｉｌｔｅｒｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　Ｂａｙｅｓｉａｎ．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ．２００７，４３（２３）：１７４－１７６．　Ａｂｓｔｒａｃｔ：Ｎｏｗａｄａｙｓ，ｔｈｅ　ｓｔｕｄｙ　ｏｎ　ｃｏｎｔｅｎｔ—ｂａｓｅｄ　ｓｐａｍ　ｆｉｌｔｅｒｉｎｇ　ｉｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｈｏｔ　ｔｏｐｉｃｓ　ｉｎ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ　ｓｅｃｕｒｉｔｙ　ｒｅｓｅａｒｃｈ　ａｒｅａ　ａｌｌ　ｏｖｅｒ　ｔｈｅ　ｗｏｒｌｄ．Ａｎｄ　Ｂａｙｅｓｉａｎ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｍｅｔｈｏｄ　ｈａｓ　ｅｘｐｒｅｓｓｅｄ　ｈｉｇｈ　ａｃｃｕｒａｃｙ．Ａｎ　ｉｍｐｒｏｖｅｄ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　Ｎａ＇ｆｖｅ　Ｂａｙｅｓｉａｎ　ａｎｄ　Ｂｏｏｓｔｉｎｇ　ｍｅｔｈｏｄ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｐａｍ；ｅ—ｍａｉｌ　ｆｉｌｔｅｒｉｎｇ；Ｂａｙｅｓｉａｎ　ａｌｇｏｒｉｔｈｍ　摘　要：基于内容的垃圾邮件过滤问题是ｌｎｔｅｒｎｅｔ安全技术研究的一个重点问题．而基于贝叶斯的分类方法在垃圾邮件处理上表　现出了很高的准确度．因此受到了广泛的关注。在朴素贝叶斯算法的基础上，提出了一种基于最小风险贝叶斯方法ｒｇ　Ｂｏｏｓｔｉｎｇ算　法相结合的邮件过滤改进算法，提高了分类的精确度。实验证明，算法在邮件过滤中有更好的表现。　关键词：垃圾邮件：邮件过滤：贝叶斯算法　文章编号：１００２—８３３１（２００７）２３—０１７４—０３　文献标识码：Ａ　中图分类号：ＴＰ３９３　ｌ　引言　随着ｌｎｔｅｒｎｅｔ的发展和应用．越来越多的商务、日常活动通　合．可以认为文本是这些词汇按照一定的方式“产生”的。根据　产生方式，朴素贝叶斯分类算法有两种概率估计方法：多变量　过Ｉｎｔｅｒｎｅｔ才能进行，网络跟人们的生活越来越紧密。然而网络　是双面的．人们在享受网络所带来的便利的同时，不可避免地　贝努里事件模型［５１（ＭＢＭ，Ｍｕｌｔｉ—ｖａｒｉａｔｅ　Ｂｅｒｎｏｕｌｌｉ　ｅｖｅｎｔ　Ｍｏｄｅ１）　和多项式事件模型（ＭＭ，Ｍｕｈｉｎｏｍｉａｌ　ｅｖｅｎｔ　Ｍｏｄｅ１）。这两种模　接触到大量的不良信息，如色情、暴力、反动、邪教、赌博、病毒　等．部分成人尤其是自制力不强的青少年学生沉迷在网上游　戏、娱乐、色情世界里而不能自拔。因而如何管理网络用户尤其　是青少年学生对ｌｎｔｅｒｎｅｔ访问，而又不影响用户对网络的正常　访问，越来越引起人们的关注。　型在公式中的体现是Ｐ（ｄ￣ｌｃｊ）估计的方法不同。　２．１　多变量贝努里事件模型　在这种模型中，文本向量是布尔权重．也就是说．如果特征　词在文本中出现，则权重为１，否则，权重为０，不考虑特征词的　出现顺序，忽略特征词在文本中的出现次数。设特征数量为ｎ，　将文本看作一个事件．这个事件是通过ｎ重贝努里实验产生　的．即某个特征出现或者不出现。这也是贝叶斯分类算法的一　个传统模型。　设　表示特征ｗ　在文本　中的出现情况，Ｂ￣＝Ｏ／１表示特　征出现／不出现．则有：　１Ｐ＿｜　为了过滤网络信息，使网络用户尤其是青少年学生远离非　友善信息的侵扰，使得网络环境更加纯净、美好，网络信息过滤　技术已经成为当前研究的热点Ｊ　。而电子邮件（ｅ—ｍａｉｌ）以其方　便、快捷、低成本的独特魅力成为人们日常生活中不可缺少的　通信手段之一。但电子邮件给人们带来极大便利的同时，也日　益显示出其负面影响，那就是我们每天收到的邮件中有很大一　部分是那种“不请自来”的，它们或者是推销广告，或者是一些　有害的不良信息，甚至还有病毒。这些垃圾邮件占用网络带宽，　浪费网络资源，浪费用户宝贵时问及上网费用，其中有些垃圾　邮件传播各样有害信息甚至病毒，直接对网络安全形成威胁。　尸（以　）＝１　１（　尸（　Ｉｃｊ）＋（１－　）（１－Ｐ（ｗ　Ｉｃｊ）））　，：ｌ　（１）　Ｐ（ｗ　ｌｃＪ）表示在属于类ｃｊ的情况下批出现的概率。从上面公式　可以看出，在多变量贝努里事件模型中，文本是所有特征的类　条件概率之积，若特征在文本中出现，乘的项是Ｐ（ｗ　Ｉｃｊ），若不　出现，乘的项是（１一　）（１一Ｐ（ｗ　Ｉｃｊ））。　２朴素贝叶斯模型中的两种概率估计方法　在贝叶斯假设的基础上．文本可以看作是若干词汇的集　Ｐ（ｗ　Ｉｃｊ）的估计也采用文档频次：　基金项目：山东省自然科学基金（ｔｈｅ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｓｈａｎｄｏｎｇ　Ｐｒｏｖｉｎｃｅ　ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏ．Ｙ２００６Ｇ２０）：山东省科技公关计　划（ｔｈｅ　Ｋｅｙ　Ｔｅｃｈｎｏｌｏｇｉｅｓ　Ｒ＆Ｄ　Ｐｒｏｇｒａｍ　ｏｆ　Ｓｈａｎｄｏｎｇ　Ｐｒｏｖｉｎｃｅ　ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏ．０５３１２０１２６）。　作者简介：李雯（１９８２一），女，硕士研究生，主要研究领域为网络信息安全，Ｗｅｂ数据挖掘；刘培玉（１９６０一），男，教授，博士生导师，主要研究领域为　网络安全，数据库系统。　维普资讯 http://www.cqvip.com 李　雯，刘培玉：基于贝叶斯的垃圾邮件过滤算法的研究　１７５　Ｐ（Ｗｔ　Ｃｊ）＝　对上面公式进行简单的平滑处理：　塑　（２）　通过实验比较两种模型发现贝努里事件模型在计算上较　简便，而精确率也略高于多项式事件模型。因此本文中使用了　贝努里分布模型。　（３）　由此可以看出．多变量贝努里事件模型的特点在于：　（１）计算Ｐ（ｗｌｃ　）和Ｐ（　的出现次数；　３基于最小风险的贝叶斯分类模型　贝叶斯分类模型中有两种决策规则　，７１分别是：基于最小错　误率贝叶斯决策和基于最小风险贝叶斯决策。其中基于最小错　误率的贝叶斯决策是指使错误率为最小的分类规则，但是实际　上有时需要考虑一个比错误率更为广泛的概念——风险，而风　的时候都不考虑特征在文本中　（２）对那些没有在文本中出现的特征，计算时乘以（１一　）　（１－Ｐ（ｗ　Ｉｃｊ））项。　险又是和损失紧密相连的。对邮件的分类不仅要考虑到尽可能　应用于垃圾邮件过滤，只考虑两个类别：垃圾邮件和非垃　圾邮件，设ｃ＝１表示垃圾邮件类，ｃ＝Ｏ表示非垃圾邮件类，目标　是计算：　Ｐ（ｃ＝１１４）＝坠　（４）　根据式（１），有：　Ｐ（ｄｘｌｃ＝１）＝兀（　（　Ｉｃ：１）＋（１一Ｂ　）（１一Ｐ（ｗ　Ｉｃ：１）））（５）　Ｐ（ｄ￣ｌｃ＝０）：兀（　（埘　Ｉｃ＝０）＋（１一　）（１一Ｐ（　Ｉｃ：０）））　（６）　Ｐ（　）＝　Ｐ（ｃｊ）Ｐ（ｄ．１ｃｊ）＝　…　Ｐ（ｃ＝１）Ｐ（　ｆｃ＝１）＋（１－Ｐ（ｃ＝１））（１－Ｐ（　Ｉｃ＝０））　根据式（２）和式（３），可以从训练集中估计Ｐ（ｃ＝１）、Ｐ（ｗ　Ｉｃ＝　１）和Ｐ（ｗ　Ｉｃ＝Ｏ）；分类时，可以根据式（４）、式（５）、式（６）和式（７）　计算待分类邮件属于垃圾邮件类别的概率。　２．２多项式事件模型　这种模型中，与前面的多变量贝努里事件模型不同．要考　虑特征词的出现次数。在这里，将每个特征词的出现看作“事　件”，文本是这些事件的集合，假设这些事件之间是相互独立　的。设文本　的长度（即文本中包含的词数）为ＩｄＪ，　表示特　征ｔ在文本　中的出现次数，ｎ为特征数量，则Ｐ（ｄ￣ｌｃｊ）符合多　项式分布（ｍｕｈｉｎｏｍｉａＩ　ｄｉｓｔｒｉｂｕｔｉｏｎ）：　附　（８）　在训练集上估计时，采用词频：　Ｐ（ｗ，ｌｃｊ　＝　上面公式进行平滑处理变为：　Ｐ（ｗ￣ｌｃｊ　：　应用于垃圾邮件过滤时，设ｃ＝ｌ表示垃圾邮件类．ｃ＝Ｏ表　示非垃圾邮件类，根据式（４）和式（７），有：　Ｐ（ｃ＝１　）＝　！三　三１）　：　Ｐ（ｃ＝１）Ｐ（ｄｘＩｃ＝１）＋（１－Ｐ（ｃ＝１））（１－Ｐ（ｄｘＩｃ＝Ｏ））　１　１＋　二　！三１）　！！三　２　Ｐ（ｃ＝１）　Ｐ（ｄｘＩｃ＝１）　（１２）　做出正确判断．而且还要考虑到做出错误判断时会带来什么后　果。如果把正确邮件判为垃圾邮件放到垃圾箱中可能会使用户　的重要信件丢失带来一定的损失；而如果本来就是垃圾邮件却　判为正常。就会给用户带来许多麻烦。显然这两种不同的错误　判断所造成损失的严重程度是有显著差别的，前者的损失比后　者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失不　同而提出的一种决策规则。　３．１　基于最小风险的贝叶斯规则　最小风险贝叶斯规则是：已知先验概率Ｐ（Ｇ）及类条件概　率密度Ｐ（　ＩＧ），损失函数为Ａ（Ｏｌ　，Ｃｊ）（ｉ＝Ｉ，２，…，ａ），决策空问　由ａ个决策　组成，Ａ表示当真实状态为Ｇ而所采取的策略　是　时所带来的损失，这样可以得到一般的决策表如表１所示　表１一般决策表　根据贝叶斯公式。后验概率为：　Ｐ（ｃｉｌｄ．）＝　其中Ｐ（　）＝　Ｐ（ｃ　）Ｐ（以ｌｃＪ）　由于引入了“损失”的概念，在考虑错误判断所造成的损失　时，就不能只根据后验概率的大小来做决策．而必须考虑所采　取的判断是否使损失最小。对于给定的　，如果采取决策　，从　决策表可见，对应于决策Ｏｔｉ，可以在　个Ａ（Ｏｔｉ，ｃｊ）√＝１，２，…，　值中任取一个，其相应概率为Ｐ（ｃ　Ｉｄｘ）。因此在采取决策Ｏｌ　情况　下的条件期望损失Ｒ（Ｏｌ　　Ｉ）为：　Ｒ（Ｏｌ　　Ｉ）：Ｅ【Ａ（Ｏｌ　，ｃ』）】＝２　Ａ（Ｏｌ　，ｃ　）Ｐ（ｃｊｌｄ￣），ｉ＝１，２，…，口（１３）　ｊ＝ｌ　把采取决策　的条件期望损失Ｒ（　）称为条件风险。对　得到的ａ个条件风险值Ｒ（　Ｉｄｘ）（ｉ＝ｌ，２，…，ａ）进行比较，找出　使条件风险最小的决策ｏ／　即ｏ／　：　Ｒ（　Ｉ以）＝ｍｉｎ　Ｒ（　ｌ　）　则　就是最小风险贝叶斯决策。　在考虑错判带来的损失时，希望损失最小。如果在采取每　一个决策或行动时都使其条件风险最小，则对所有的　作出　决策时。其期望风险也必然最小。这样的决策就是最小风险贝　叶斯决策。　维普资讯 http://www.cqvip.com １７６　２００７，４３（２３）　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　提升方法ｔＳｌ（ｂｏｏｓｔｉｎｇ）总的思想是学习一系列决策行动．在　３．２朴素贝叶斯同基于最小风险的贝叶斯分类结果　比较　从中国反垃圾邮件联盟（ｈｔｔｐ：／／ｗｗｗ．ａｎｔｉ—ｓｐａｎ．ｏｒｇ．ｃｎ／）中提　供的中文邮件语料库中随机选取了２　０００封邮件作为训练样　本，对４００封作为测试集的邮件（其中垃圾邮件为３００封，合法　邮件为１００封）进行分类。其中基于朴素贝叶斯邮件过滤算法　的实验结果（经过多次实验得出的结果取其平均值）见表２。　表２基于朴素贝叶斯邮件过滤算法的实验结果　实嘲ｕ　由表２知对４００封邮件进行分类测试，其中有１０．７５篇合　法邮件被判为垃圾邮件．而有１２．２５篇垃圾邮件判为合法邮　件。系统精确率为９４．２５％，合法邮件的召回率为８９．２５％。　采用基于最小风险贝叶斯算法进行邮件过滤．根据表３提　供损失因子值的不同产生不同的结果。每次测试过程中改变损　失因子，对邮件进行分类得到结果如表４所示。　表３决策表　决策—堕　ｃＩ　ｃ２　．０　０　０．３　，　０．６　０．０　表４根据不同损失因子值得出的结果　合法邮件　９２．５０　７．５０　１００　０．６垃圾邮件　ｌ３．７５　２８６　２５　３００　总数　１０５．２５　２９３　７５　４００　由表４可知当Ａ的值为０．３时，有９．２５篇合法邮件被判为　垃圾邮件．而有ｌ３篇垃圾邮件判为合法邮件。系统精确率为　９４．３１％，合法邮件召回率为９０．２５％；当Ａ的值为０．６时，有７．５　篇合法邮件被判为垃圾邮件，而有１３．７５篇垃圾邮件判为合法　邮件。精确率为９４．６８％，召回率为９２．５％。　由此可见与基于朴素贝叶斯的邮件过滤算法相比基于最　小风险的贝叶斯邮件过滤算法在精确率和合法邮件召回率的　性能方面有一定提高，即当引入损失因子后精确率增加。合法　邮件被系统误判为垃圾邮件的可能性减少。但同时，垃圾邮件　的召回率有所下降，即垃圾邮件被系统误判为合法邮件的可能　性增加　４基于最小风险贝叶斯模型的提升　由于在邮件的过滤过程中朴素贝叶斯算法没有考虑合法　邮件被错判为垃圾邮件的情况。而采用最小风险贝叶斯分类使　得系统的召回率有所下降．即垃圾邮件被系统误判为合法邮件　的可能性增加。因此，在这里本文引入了提升方法（ｂｏｏｓｔｉｎｇ）。　即在朴素贝叶斯算法的基础上，提出了基于最小风险贝叶斯方　法同Ｂｏｏｓｔｉｎｇ算法相结合的邮件过滤算法。在尽量不使合法邮　件错判为垃圾邮件的同时尽可能地提高分类的精确度。　这个序列中每个决策对它前一个决策导致的错误判断例子给　予更大的重视。尤其是在学习完决策行动　之后，增加了由　导致判断错误的训练例子的权重值，并且通过重新对训练例子　计算权值，再学习下一个决策　。这个过程重复　次。最终的　分类器从这一系列的决策中综合得出　在这个过程中．每个训练例子被赋予一个相应的权值，如　果一个训练例子被分类器错误分类，那么就相应增加该例子的　权重，使得下一次学习中，分类器对该例代表的情况更加重视　５三种算法性能比较　垃圾邮件过滤中，除了公共的语料．还需要定义一些指标　来评价垃圾邮件过滤器的效果。这些指标一般都是从文本分类　和信息检索领域借鉴过来的。　设测试集合中共有Ⅳ封邮件．为方便叙述，先定义几个变　量，见表５，其中Ｎ＝Ａ＋Ｂ＋Ｃ＋Ｄ。　表５垃圾邮件系统判定情况分布　封　正确答案是Ｓｐａｍ　正确答案是非Ｓｐａｍ　定义如下几个评价指标：　（１）召回率（Ｒｅｃａｌ１）：Ｒｅｃａｌｌ＝　ＩＡ＿　１００％，即垃圾邮件检出　＋　率。这个指标反映了过滤系统发现垃圾邮件的能力，召回率越　高，“漏网”的垃圾邮件就越少。　（２）精确率（Ａｃｃｕｒａｃｙ）：Ａｃｃ　ｒａｃｙ＝Ａ＋　Ｄ￥１００％，，即对所有　邮件的判对率。　仍采用表２中的４００封邮件作为测试集，总结三种过滤算　法的实验结果比较如表６所示：　表６三种算法的比较　算法　项目　朴素贝叶斯■　基于最小风险贝叶斯　提升的最小风险贝叶斯　Ａ＝０．　—３—　Ａ＝０．　６—　Ａ＝０　３—　Ａ＝０　．　６　从表６可以看出，基于最小风险的朴素贝叶斯提升算法在　邮件过滤中，无论是在精确率还是在召回率上都优于其它两种　算法。实验结果的数据对比充分说明了本文的方法能提高垃圾　邮件过滤的整体性能。　６结束语　本文基于最小风险的贝叶斯方法提出一种新的邮件过滤　算法．以减少合法邮件的误判率。实验结果表明，该算法在邮件　过滤性能方面具有较好的动态调整能力．取得了较为满意的结　果，从而提高了邮件过滤的质量。（收稿日期：２００７年５月）　参考文献：　［１】Ｒｏｂｅ￣ｓｏｎ　Ｓ　Ｅ．Ｔｈｅ　ｐｒｏｂａｂｉｌｉｔｙ　ｒａｎｋｉｎｇ　ｐｒｉｎｃｉｐｌｅ　ｉｎ　ＩＲ，ｒｅａｄｉｎｇｓ　ｉｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｒｅｔｒｉｅｖａｌ［Ｍ］．ｉｓ．１．】：Ｍｏｒｇａｎ　Ｋａｕｆｍａｎｎ，１９９７：２８１－２８６．　【２１　ＳａｌｔｏｖＬＡｕｔｏｍａｔｉｅ　ｔｅｘｔ　ｐｒｏｃｅｓｓｉｎｇ：ｔｈｅ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ，ａｎａｌｙｓｉｓ　ａｎｄ　ｒｅ－　ｔｒｉｅｖａｌ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｂｙ　ｃｏｍｐｕｔｅ￣１］．［ｓｊ．］：Ａｄｄｉｓｏｎ－Ｗｅｓｌｅｙ　Ｉｎｃ，１９８９．　（下转１８３页）　维普资讯 http://www.cqvip.com 崔朝阳，王建纲：广播电视语音识别现状与应用策略　１８３　内外进行相关研究的单位大多拥有相对独立的技术和系统　目　步不断提高我国广播电视管理的水平。相信在不久的将来，随　前该技术已经基本实现产品化，如国内某系统在２０　ｈ电视节　着自动音频处理技术的不断深入发展和应用，我国广播电视管　目，ｌ００个广告情况下，搜索准确度可以达到９９％以上。　理将进入一个全新的发展阶段。（收稿日期：２００６年９月）　固定音频检出系统由两部分组成，即疑似位置预估模块和　快速匹配模块。疑似位置预估模块通过计算音频检索窗内信号　参考文献：　与固定模板的相关性搜索疑似点，在此基础上，使用快速匹配　［１］王效杰．广播电视数字化和产业化．信息资源开发利用高层论坛，　技术对疑似点进行精确匹配。　２Ｏ０４．　固定音频检出技术主要应用于特定节目、音乐、广告等的　［２］Ｇａｒｏｆｏｌｏ　Ｊ，Ａｕｚａｎｎｅ　Ｇ，Ｖｏｏｒｈｅｅｓ　Ｅ．Ｔｈｅ　ＴＲＥＣ　ｓｐｏｋｅｎ　ｄｏｃｕｍｅｎｔ　检索与定位，由于这项技术已经成熟，国内外都有产品系统　ｒｅｔｉｒｅｖａｌ　ｔｒａｃｋ：ａ　ｓｕｃｃｅｓｓ　ｓｔｏｒｙ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＲＩＡＯ－２０００，Ａｐｒ　推出　２０００．　［３］Ｐｏｉｎｄｅｘｔｅｒ　Ｊ，Ｐｏｐｐａ　Ｒ，Ｓｈａｒｋｅｙ　Ｂ．Ｔｏｔａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ａｗａｒｅｎｅｓ　６广播电视语音识别应用策略　（ＴＩＡ）［Ｃ］／／Ｐｒｏｃ　ｏｆ　ＩＥＥＥ　Ａｅｒｏｓｐａｃｅ　Ｃｏｎｆｅｒｅｎｃｅ，２００３．　［４］Ｏｓｔｅｎｄｏｒｆ　Ｍ，Ｓｈｒｉｂｅｒｇ　Ｅ，Ｓｔｏｌｃｋｅｌ　Ａ．Ｈｕｍａｎ　ｌａｎｇｕａｇｅ　ｔｅｃｈｎｏｌｏｇｙ：　当前各项音频处理技术在一般应用条件下已经基本达到　ｏｐｐｏｒｔｕｎｉｔｉｅｓ　ａｎｄ　ｃｈａｌｌｅｎｇｅｓ［Ｃ］／／Ｐｒｏｃ　ｏｆ　ＩＥＥＥ　ＩＣＡＳＳＰ，２００５．　实用要求，这就为广播电视的内容管理提供了有力的技术支持　［５］高升，徐波，黄泰翼．基于决策树的汉语三音子模型【Ｊ］．声学学报，　和保障。相比较而言，而我国在这方面也已经进入了实质性的　２０００，２５（６）．　部署阶段。如何在技术与应用之间找到一个最佳的切入点．以　［６］Ｐａｌｌｅｔｔ　Ｄ　Ｓ．Ａ　ｌｏｏｋ　ａｔ　ＮＩＳＴ’ｓ　ｂｅｎｃｈｍａｒｋ　ＡＳＲ　ｔｅｓｔｓ：ｐａｓｔ，ｐｒｅｓｅｎｔ，　收到相得益彰的效果，应该采取以下的发展策略：　ａｎｄ　ｆｕｔｕｒｅ．Ｎａｔｉｏｎａｌ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｓｔａｎｄａｒｄ　Ｔｅｃｈｎｏｌｏｇｙ，２００３．　（１）正确认识自动音频处理技术在广播电视内容管理工作　【７］Ｋｉｍ　Ｄ　Ｙ，Ｅｖｅｒｍａｎｎ　Ｇ，Ｈａｉｎ　Ｔ，ｅｔ　ａ１．Ｒｅｃｅｎｔ　ａｄｖａｎｃｅｓ　ｉｎ　ｂｒｏａｄｃａｓｔ　中所处的位置，扬长避短以最大程度地发挥其作用。由于实际　ｎｅｗｓ　ｔｒａｎｓｃｒｉｐｔｉｏｎ［Ｃ］／／Ｐｒｏｃ　Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　Ｕｎ－　广播电视节目种类多样、环境复杂，目前的自动音频处理技术　ｄｅｒｓｔａｎｄｉｎｇ　Ｗｏｒｋｓｈｏｐ（ＡＳＲＵ），Ｓｔ　Ｔｈｏｍａｓ，Ｕ　Ｓ　Ｖｉｒｇｌｎ　Ｉｓｌａｎｄｓ，Ｄｅ－　还无法在所有种类的节目中都取得令人满意的效果，以连续语　ｃｅｍｂｅｒ　２ｏ０３：１０５—１１０．　音识别为例，其对新闻节目的识别率要远高于对话访谈类节　［８］Ｓｏｈａｕ　Ｈ，Ｋｉｎｇｓｂｕｒｙ　Ｂ，Ｍａｎｇｕ　Ｌ，ｅｔ　ａ１．Ｔｈｅ　ＩＢＭ　２００４　ｃｏｎｖｅｒｓａｔｉｏｎ－　目。这就决定了在现阶段，自动处理技术还无法完全取代人工．　ａｌ　ｔｅｌｅｐｈｏｎｅ　ｓｙｓｔｅｍ　ｆｏｒ　ｒｉｃｈ　ｔｒａｎｓｃｒｉｐｔｉｏｎ［Ｃ］／／Ｐｒｏｃ　ＩＥＥＥ　ＩＣＡＳＳＰ’０５，　ＵＳＡ，２００５．　自动技术应作为系统的一个环节　［９］Ｒｅｙｎｏｌｄｓ　Ｄ　Ａ，Ｔｏｎｅｓ—Ｃａｒｒａｓｑｕｉｌｌｏ　Ｐ．Ａｐｐｒｏａｃｈｅｓ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎｓ　（２）突出系统概念，体现信息服务。自动技术与现有系统的　ｏｆ　ａｕｄｉｏ　ｄｉａｒｉｚａｔｉｏｎ［Ｃ］／／Ｐｒｏｃ　ｏｆ　ＩＥＥＥ　ＩＣＡＳＳＰ　０５，ＵＳＡ，２００５．　对接应采取提供服务的方式，而不是修改现有系统内嵌模块。　［１０］Ｗｉｌｐｏｎ　Ｊ　Ｇ，Ｒａｂｉｎｅｒ　Ｌ　Ｒ，Ｌｅｅ　Ｃ　Ｈ，ｅｔ　ａ１．Ａｕｔｏｍａｔｉｃ　ｒｅｃｏｇｎｉｔｉｏｎ　首先，内嵌模块的方式需要改变现有系统框架．从而增加系统　ｏｆ　ｋｅｙｗｏｒｄｓ　ｉｎ　ｕｎｃｏｎｓｔｒａｉｎｅｄ　ｓｐｅｅｃｈ　ｕｓｉｎｇ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄ－　改造工作量；其二，广播电视数据量大且有实时处理需求，适合　ｅｌｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ　ｏｎ　ＡＳＳＰ，１９９０，３８（１１）：１８７０—１８７８．　采用多处理器并行计算技术。因此．自动音频处理技术与现有　［１１］Ｚｈａｎｇ　Ｈｕａ—ｙｕｎ，Ｘｕ　Ｂｏ，Ｈｕａｎｇ　Ｔａｉ—ｙｉ．Ｉｍｐｒｏｖｉｎｇ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　系统的对接在有条件的情况下，最好采用系统级解决方案以信　ｔｅｌｅｐｈｏｎｅ　ｂａｓｅｄ　ｍａｎｄａｒｉｎ　ｋｅｙｗｏｒｄ　ｓｐｏｔｔｉｎｇ　ｓｙｓｔｅｍ［Ｃ］／／Ｐｒｏｃ　ＩＳＣ－　息服务的形式提供。　ＳＬＰ，２００２．　（３）不断加强基础资源建设，促进自动处理技术进步。语音　［１２］Ｚｉｓｓｍａｎ　Ｍ　Ａ．Ｃｏｍｐａｒｉｓｏｎ　ｆｏｒ　ｆｏｕｒ　ａｐｐｒｏａｃｈｅｓ　ｔｏ　ａｕｔｏｍａｔｉｃ　ｌａｎ－　语言知识库在自动音频处理技术的发展过程中起着举足轻重　ｕｇａｇｅ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｏｆ　ｔｅｌｅｐｈｏｎｅ　ｓｐｅｅｃｈ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　的作用，这一点在ＮＩＳＴ的评测工作中体现得非常明显。因此加　Ｓｐｅｅｃｈ　ａｎｄ　Ａｕｄｉｏ　Ｐｒｏｃ，１９９６，４．　强系统在实际使用过程中对真实数据的收集、整理．进一步用　［１３］Ｔｏｎｅｓ—Ｃａｒｒｓａｑｕｉｌｌｏ　Ｐ　Ａ，Ｒｅｙｎｏｌｄｓ　Ｄ　Ａ，Ｄｅｌｌｅｒ　Ｊ　Ｒ．Ｌａｎｇｕａｇｅ　ｉ－　于系统自学习、自校正，从而实现在良性循环中不断提高系统　ｄｅｎｔｉｆｉｃａｔｉｏｎ　ｕｓｉｎｇ　Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ　ｔｏｋｅｎｉｚａｔｉｏｎ［Ｃ］／／ＩＣＡＳ—　ＳＰ，Ｏｒｌａｎｄｏ，Ｆ１，ＵＳＡ，２００２．　性能的目标。　［１４］Ｌｉａｎｇ　Ｗｅｉ，Ｚｈａｎｇ　Ｓｈｕ—ＷＵ，Ｘｕ　Ｂ０．Ａ　ｈｉｓｔｏｇｒａｍ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｆａｓｔ　自动音频处理技术应用于广播电视内容管理工作在我国　ａｕｄｉｏ　ｒｅｔｒｉｅｖａｌ［Ｃ］／／６ｔｈ　Ｉｎｔ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍｕｓｉｃ　Ｉｆｎｏｒｍａｔｉｏｎ　Ｒｅ－　刚刚开始，需要在应用中不断促进技术进步，继而通过技术进　ｔｒｉｅｖａｌ（ＩＳＭＩＲ），Ｓｅｐ　２００５．　（上接１７６页）　［５］潘文锋．基于内容的垃圾邮件过滤研究［Ｄ］．北京：中国科学院计算技　［３］Ｗｉｔｔｅｎ　Ｉ　Ｈ，Ｆｒａｎｋ　Ｅ．Ｄａｔａ　ｍｉｎｉｎｇ：ｐｒａｃｔｉｃａｌ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｔｏｏｌｓ　术研究所．２０ｏ４．　ａｎｄ　ｔｅｃｈｎｉｑｕｅｓ　ｗｉｔｈ　Ｊａｖａ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ［Ｍ］．ｉｓ．１．］：Ｍｏｒｇａｎ　Ｋａｕｆ－　『６］边肇祺，张学工．模式识别【Ｍ］．北京：清华大学出版社，１９９９．　ｍａｎｎ，２０００．　［７］Ｓａｈａｍｉ　Ｍ，Ｄｕｍａｉｓ　Ｓ，Ｈｅｃｋｅｒｍａｎ　Ｄ，ｅｔ　ａ１．Ａ　Ｂａｙｅｓｉａｎ　ａｐｐｒｏａｃｈ　ｔｏ　【４］Ｊｏａｃｈｉｍｓ　Ｔ．Ｏｐｔｉｍｉｚｉｎｇ　ｓｅａｒｃｈ　ｅｎｇｉｎｅｓ　ｕｓｉｎｇ　ｃｌｉｃｋ　ｔｈｒｏｕｇｈ　ｄａｔａ［Ｃ］／／　ｉｆｌｔｅｒｉｎｇ　Ｊｕｎｋ　ｅ—ｍａｉｌ［Ｃ］／／Ｌｅａｒｎｉｎｇ　ｆｏｒ　Ｔｅｘｔ　Ｃａｔｅｇｏｒｉｚａｔｉｏｎ：Ｐａｐｅｒｓ　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＡＣＭ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　ａｎｄ　ｆｒｏｍ　ＡＡＡＩ　Ｗｏｒｋｓｈｏｐ．Ｍａｄｉｓｏｎ，Ｗｉｓｃｏｎｓｉｎ．１９９８：５５—６２．　Ｄａｔａ　Ｍｉｎｉｎｇ（ＫＤＤ），ＡＣＭ，２００２．　［８］史忠植．高级人工智能［Ｍ］．ｊＥ京：科学出版社，１９９７．