1第一章 模式识别绪论介绍

《模式识别》讲义2016版：第一章 绪论 第一章 绪论 一、 什么是模式识别 1、 生物的识别能力 人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通照片、艺术图片还是卡通图画。 这种识别能力的科学基础是什么呢？我们为什么可以识别出照片或者卡通画片上的人是谁呢？ 也许有人认为其原理是逻辑推理（Logical Reasoning），就像下面这个例子： The male professor said to the girls who were talking aloud in the classroom: “The noise made by two women is equal to the sound that 1000 ducks quack.” After a while somebody knocked at the door. One girl student reported: “Professor, 500 ducks are looking for you outside!” Question: Who was outside? Answer: A woman. 我们并没有看到，也没有直接获取到门外来客的相关信息，我们只是通过上下文和逻辑推理，判断来客不会是500只鸭子，也不会是一位男性，而是一位女性。 但是这种逻辑推理过程在我们识别照片上的人是谁时并没有明显地产生作用，我们一般是根据照片上人像的某种特征来识别，甚至可以用“感觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。 那么我们是依据待识别事物上的特定标志来识别他们的吗？例如在计算机系统中，我们需要输入用户名和密码来获得操作许可，在门禁系统中，我们可以用钥匙或者射频ID卡来验证自己的进出权限。 但是这种过程也不是识别的过程，因为它保证的仅仅是权限标志信息或标志物的验证（Identify）或鉴别，并不能确保拥有该权限标志物的就是被许可者本人。也就是说，通过这种方式可以控制操作或访问权限，但不能识别出操作或访问者的真实身份。 小故事： 柯南道尔是英国著名的侦探小说作家，他创造了知名的福尔摩斯形象。有一次，他到巴黎旅行，刚出火车站，就遇到一个出租车司机。司机帮他把行李放到后备箱，然后上车对他说：柯南道尔先生，您要去哪儿？柯南道尔很惊讶，他问司机：您认识我吗？司机回答说：不，我从没见过您。柯南道尔说：那您怎么知道我的名字呢？司机说：首先，我从报上看到消息说，柯南道尔正在马赛度假；然后，我发现您正是从马赛开来的列车上下来的；接着，我发现您的皮肤被晒黑了，这正是在海边度假归来的人的典型特征；您穿衣的风格非常正式，很有绅士气派，法国人去南部度假的时候是不会这么穿着的，只有英国人才这样；最后我第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 发现您的手指被墨水染黑了，这证明您是位作家；所以，我判断您是来自英国的柯南道尔先生。柯南道尔不禁赞叹道：您真是观察得太细了，您的推理能力不逊于任何真正的侦探！还有一个小小的细节，司机微笑着说，您的手提箱上刻着您的名字。 所以，人或者生物识别事物依靠的是一种特殊的能力，它能判断一个待识别的事物是什么或者不是什么，这种能力我们称为“模式识别”。因此，模式识别也可以定义为：识别一个模式， 其英文为Pattern Recognition。 生物的模式识别能力是非常普遍和强大的，不仅人这样的智能生物具有模式识别的能力，无数的动物、植物都具有模式识别的能力：小猫会通过视觉、嗅觉和味觉判断一个物体是否是食物，树木会根据气温的高低和持续情况判断春天是否到来，微生物会根据化学物质的浓度来判断应当繁殖还是逃离。没有模式识别的能力，生物体就不能对外界环境采取适当的反应，也就没有办法在客观世界中生存。 2、 模式识别的概念 Pattern的本意是图案、式样，它代表的不是一个具体的事物，而是事物所包含的信息特点，对应一个抽象的概念。虽然世界上没有完全相同的两片树叶，我们仍然可以识别出任意两片树叶是否来自同一种树木。即使两幅花纹的图片不完全一样，我们仍然能辨别两幅图片是否是同一种花纹。所以，模式（Pattern）在识别过程中所指的是从客观事物中抽象出来，用于识别的最关键的一些特征信息。 图1 显然a)和e)是同一种花纹 识别是Recognition，其中“cognition”的意思是“认知”，就是去获取事物的有关知识；“Re－cognition”是“再认知”，就是对已经具有知识的事物去判断它是什么。 由于模式是抽象的事物特征，代表的是具有这些特征的一类事物，因此，它需要在“认知”的过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看了许多长颈鹿的照片，这些长颈鹿具有相似的形象，我们可以从身体形态、个头大小、皮肤花纹等方面抽象归纳出长颈鹿的共同第 2 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 特征。当有一张新的动物图片供我们识别时，我们就可以依据这些特征来判断该动物是否是长颈鹿，换句话说，能否划归到“长颈鹿”这一动物种类中去。 所以，模式识别的本质是对事物的分类（Classify）。认知过程是建立类别标签和类别模式特征之间关联的过程，而识别，就是将一个具体事物（称为样本 Sample）根据特征划归到已知的类别（Class）中去。 3、 模式识别的特点 根据模式识别的概念，它具有以下的一些特点：  模式识别只能识别已知类别的事物 模式识别是将待识别的事物划归到已有的类别中去，对于完全未知的事物，没有办法给它贴上任何标签，是无法进行识别的。同时，如果已有的认知基础不同，对于同一个待识别的样本，也会得到完全不同的识别结果。 小故事： 一个病人去医院就医，医生用他那惯用的潦草字体开了处方，可病人很随意，将此处方放在衣袋里忘掉了。在此后的两年里，此人将此处方当作地铁车票来往于家与单位之间。并拿之看过十多场电影及两场音乐会，还打过一场高尔夫球，而且还混充上头的字迹获得了一次升迁。两年后他将此处方遗失了，但故事并未完结，他女儿捡到了字条，在年度音乐考核上按此演奏了一段钢琴，竟然获得了年终奖学金。  模式识别是生物的本能，但“模式识别学科”研究的是机器识别 研究生物的模式识别原理是生物学、神经生理学和脑科学的任务，作为信息学科中的模式识别学科，研究的是如何让机器（主要是指计算机）具有模式识别的能力，算法的研究和实现是最核心的研究内容。虽然高性能的模式识别方法需要在生物模式识别原理的基础上实现，但机器识别的效率和准确性目前还远远没有达到生物体的水平。  模式识别研究的两大问题是学习Learning（训练Training）和分类Classifying 学习（训练）就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准，学习（训练）过程就是建立一个分类器的过程；分类就是对待识别的事物依据特征进行归类，以此确定该事物“是什么”。  模式识别依据的是事物间的相似性（Similarity） 模式识别利用同一类别的事物的共同特征来完成分类，除了这些可以用于分类的特征外，模式识别过程忽略具体事物的其他特性和细节。因此，被识别为同一类的事物只是“相似”，而不是“相同”的，相似性是模式识别理论的基础。正因为如此，生物体和机器才能识别出以前从未见过的具体的某个事物，也才能对存在形变和其他失真情况的事物实现识别。  模式识别的结果可能出现错误 模式识别仅仅是在认知基础上的“识别”，而不是“确认”，它第 3 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 的原理可以用“根据经验判断”来理解。而经验数据总是有限的，无法包括所有可能的分类情况。例如，在没有见过黑天鹅的情况下，把“体色为白色”作为识别天鹅的特征之一是合理的，但对于黑天鹅这个特征就无效了。因此，识别的结果总是可能出现错误，这和依据独有标志和信息来判断事物是不同的。或者说，模式识别本质上是一个存在不确定性的过程，识别过程存在错误率（Error Rate），识别结果只能在一定的概率和置信度上表达事物所属的真实类别。 在一个分类器训练的阶段，认知来源于训练数据集，因此，首要考虑的是对于训练集内的样本，分类器分类的错误率应该尽可能低（称为经验风险低）。在使用分类器进行分类时，则希望分类器对于不在训练集中的新样本要有尽可能高的识别能力，这种分类器算法对于未知样本的分类能力称为“泛化能力（Generalization Ability）”。 在实践中，由于训练集样本数据的随机性，这两个要求有时是矛盾的。例如在图2的两类分类问题中，如果样本P的特征出现了较大的随机误差，按照这种存在误差的样本训练得到的分类器，可能出现过拟合（Over Fitting），有可能造成分类器泛化能力大幅度下降。 图2 对存在较大随机误差的训练集进行过拟合会造成分类器的泛化能力降低 二、 模式识别方法和应用 1、 模式识别系统的结构 一个模式识别系统由以下部分组成： 第 4 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 图3 模式识别系统的结构 待识别的样本经过模式采集，取得相应的信息数据，这些数据经过预处理环节，生成可以表征模式的特征，特征降维环节从这些特征中选取对分类最有效的特征，在分类器设计环节完成学习，建立相应的分类决策规则，也可以说是设计出一个有效的分类器，最后在分类器已设计好的情况下对待识别的单个样本进行分类决策，输出分类结果。 需要注意的是：整个模式识别系统的各个环节都应当是由计算机自己完成，而无需人工干预。分类决策规则是从样本中自动计算获取的，而不是由人工设定的，这才能构成一个实用的模式识别系统。我们设计一个模式识别系统，只设计系统学习类别知识来建立分类规则的算法。 2、 模式识别的流程 一个模式识别系统的工作流程包含以下任务： （1） 模式采集 Sampling 模式识别研究的是计算机识别，因此事物所包含的各种信息必须通过采集转换成计算机能接受和处理的数据。对于各种物理量，可以通过传感器将其转变成电信号，再由信号变换部件对信号的形式、量程等进行变换，最后经A/D采样转换成对应的数据值。 （2） 预处理 Preprocessing 经过模式采集获得的数据量，是待识别样本的原始信息，其中可能包含大量的干扰和无用数据。预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息，在此基础上，生成在分类上具有意义的各种特征。 特征生成的方法和思路与待解决的模式识别问题和所采用的模式识别方法密切相关，例如对图像数据，如果要识别的是场景的类型，颜色和纹理特征就很有用；如果要识别出包含的人脸是谁，那么人脸轮廓和关键点特征就很重要。 预处理生成的特征可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。 （3） 特征降维 Dimensionality Reduction 通常情况下，经过模式采集和预处理获得的模式特征数量是很大的，这给分类器的设计和分类决策都带来了效率和准确率两方面的负面影响。因此，从大量的特征中选取出对分类最有效的有限的特征，降低模式识别过程的计算复杂度，提高分类准确性，是特征降维环节的主要任务。 第 5 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 特征降维的方法主要包括特征选择（Feature Selection）和特征提取（Feature Extraction）。特征选择是从已有的特征中，选择一些特征，抛弃掉其他特征；特征提取是对原始的高维特征进行映射变换，生成一组维数更少的特征。两种方法虽然不同，但目的都是为了降低特征的维度，提高所选取的特征对分类的有效性。 （4） 分类器设计 分类器设计过程就是分类器学习的过程，或者说是对分类器进行训练的过程。分类器设计是由计算机根据样本的情况自动进行的，可分为有监督学习（Supervised Learning）和无监督学习(Unsupervised Learning)。 有监督学习是指用于分类器学习的样本已经分好了类，具有类别标签，分类器知道那些样本是属于哪些类的，由此它可以学习到属于某类的样本都具有哪些共同的特征，从而建立起分类决策规则。 无监督学习是指用于分类器学习的样本集没有分好类，分类器自主地根据样本与样本之间的相似程度来将样本集划分成不同的类别，在此基础上建立分类决策规则。 （5） 分类决策 Classification Decision 分类决策是对待分类的样本按照已建立起来的分类决策规则进行分类，分类的结果要进行评估（Evaluating）。 3、 模式识别的方法 （1） 模板匹配 模板匹配是最早出现的模式识别方法，甚至在计算机出现之前就已经开始使用了。它对每个类别建立一个或多个标准模板，分类决策时将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。 严格来说，模板匹配不能算是模式识别的范畴，在建立模板的时候需要人工的干预，但由于它直接、简单，在类别特征稳定、明显，类间差距大的时候仍然可以使用，只是它的适应能力比较差。 （2） 统计模式识别 统计模式识别是主流的模式识别方法，它是将样本转换成多维特征空间中的点，根据不同类别的样本在特征空间中的分布情况，确定类别边界和分类决策规则，再进行分类决策。 统计模式识别基于概率统计理论和多维空间理论，它有坚实的数学基础，分类器学习算法也比较成熟，适用面很广。其缺点是算法较复杂，对于各类别差异为结构特征时不能很好地求解。 统计模式识别方法包括贝叶斯决策、判别函数法，支持向量机等具体方法。 （3） 结构模式识别 结构模式识别是按照每个样本的结构特征进行分类，目前主要采用的是基于形式语言理论的句法方法。结构模式识别对于字符识别、语言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较困难，理论上还有很大的研究空间。 （4） 聚类分析 第 6 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。 （5） 模糊模式识别 模糊模式识别是在模糊数学的基础上，利用模糊集的概念对原有的模式识别方法进行改进，其分类结果也是模糊化的，可以解决许多不具有精确特征值的分类问题，但是其模糊集合和模糊规则的建立具有较大的主观性。 （6） 神经网络模式识别 将人工神经元网络用于解决模式识别问题是当前的研究热点。人工神经元网络模拟生物神经元网络的工作过程，本质上是大规模并行非线性计算机，其输入输出关系理论上可以逼近任意非线性函数。因此，神经网络模式识别在解决复杂的非线性分类问题上具有优势，其缺点是学习速度较慢，并且所获得的分类决策规则是不透明和非解析的。 4、 模式识别的典型应用 随着计算机技术的快速发展和对于智能系统的强劲需求，模式识别技术在二战以后得到了越来越广泛的应用。目前，只要需要机器具有感知能力和一定的智能响应能力的地方，就有模式识别的应用。 以下在一些领域比较典型的模式识别应用：  信息过滤 Information Filter 在网络搜索和访问的过程中，需要根据信息的内容来确定是否过滤，这已经不是简单的关键字检索能够实现的，必须根据信息的总体内容、出处和上下文关系来确定是否过滤，模式识别技术可以发挥巨大的作用。最早的信息过滤算法是基于文本的，现在已经发展到基于多媒体信息，包括图像、视频、声音等等。  生物特征识别 Biometrics 利用生物特征来识别人的身份，现在已经从科幻影片中的场景变成了现实。目前生物特征识别技术已从比较成熟的指纹识别、说话人识别、虹膜识别发展到了更加复杂的人脸识别、手印识别、步态识别等方法。  目标跟踪 Target Tracking 目标检测与跟踪也是模式识别的典型应用，大的方面可以应用到导弹制导、自动驾驶等军事领域，小的方面可以应用到智能监控、照相机笑脸识别、眼动控制等领域。  手势识别 Gesture Recognition 手势识别是近年来在人机交互领域的重要进展，通过识别人手的姿势和运动来完成对计算机系统的非接触控制，手势的检测可以依据红外检测、运动和姿态传感器、可见光视频和其它传感器实现，Kinect、MYO和Leap Motion都是比较受关注技术和产品。  音乐识别 Music Recognizing 音乐识别本科音乐分类和旋律识别。音乐分类是根据音乐的特征将其划入到不同的类别中，例如苹果公司的Genius技术。旋律识别第 7 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 （Melody Recognizing）是指根据旋律，而不是根据关键字来搜索音乐，是目前音乐检索的最新发展。百度曾经在2010年9月短暂推出过音乐的哼唱检索，在许多卡拉OK点歌系统和手机应用中，也采用了基于哼唱的音乐检索技术，也有一些网站提供类似的服务：http://www.midomi.com。  字符识别 Optical Character Recognition 光学字符识别（OCR）是最早发展的模式识别应用之一，它可分为联机识别和脱机识别，又可以分为手写识别和印刷体识别。目前联机手写识别（掌上设备的手写输入）、脱机印刷体识别（扫描文件的OCR、PDF文件的拷贝）都发展到了一定的实用水平，比较困难的是脱机手写识别。  图像识别搜索 Image Searching 通过图像的内容来进行检索，而不是根据关键字检索，也是模式识别在图像处理方面的典型应用。由于图像本身的质量差异较大，变化的情况也比较多，目前该领域还处于研究阶段。百度推出了实验性的图像检索：http://stu.baidu.com。  自然语言理解 Natural language understanding 自然语言理解（NLU）一直是人工智能领域的研究重点，其研究内容既包括文字的理解，也包括口头对话的理解。目前文字方面进展较大，许多机器翻译系统已经可以投入实用，例如Google的在线翻译服务：http://translate.google.cn。  脑电识别 Electroencephalograph Recognition 对于脑电信号的识别，是一项非常前沿的研究工作。它不仅可以用于“读脑”，获知人的思维活动，而且可以用于“脑电控制”，帮助残疾人或者特殊人员（例如战斗机的驾驶员）控制各种设备完成预定任务。  环境识别 Environment Recognition 环境识别是对周边环境类型和状态的识别技术，在无人驾驶汽车、自主外星探测器等系统中十分重要，Google Glass等先进的随身环境感知和信息处理设备中，环境识别也是重要的组成部分。 三、 模式识别的基础概念 1、 样本、模式和模式类  样本 Sample 待识别的客观事物。例如：具体的人、一个水果、一种心电图都是样本。  模式 Pattern 从客观事物抽象出的规范化的信息，在有限维条件下可以描述和表达样本，是模式识别的对象，一般用事物的各种属性来表示。例如：一个人的姓名、性别、年龄、身高、体重…等构成一个模式。  模式类 Class 具有某种相似性的模式的集合，模式识别就是将样本对应的模第 8 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 式归入到模式类中的过程。例如：男性、女性就是两个模式类；偏瘦、标准、偏胖、很胖也是不同的模式类。对同样的一组模式，可以按照不同的标准划分模式类。 2、 特征、特征空间和特征向量  特征 Feature 是从所有模式信息中选取出来的，可以用于模式识别的部分属性。特征既可以是数值型的，也可以是非数值型的。例如：年龄、体重就是数值型特征，美、丑或者拓扑结构就是非数值型特征。非数值型特征在模式识别系统中，也需要用数据编码来表示，只是数据之间没有数值关系。 特征既可以直接采用事物的属性，也可以由事物属性经计算处理得到。例如根据世界卫生组织（WHO）公布的BMI标准，判别胖瘦的计算公式为：BMl＝体重(kg)／身高2(m) 。  特征空间 Feature Space 把每个特征作为一个维度，就可以构成一个多维的空间，每个模式都是空间中的一个点。 如果特征都是数值型特征，则特征空间是一个几何空间；如果特征是非数值型特征，特征空间是一个集合空间。 特征空间中的一个子空间或者一个区域，就代表了具有相似性的一个模式类。例如在中国的参考标准中：BMI值＜18.5为偏瘦，在18.5～23.9之间为正常，在24～26.9 之间为偏胖，≥27为肥胖。  特征向量 Feature Vector 几何特征空间中的一个点代表一个模式，其各个特征值构成了一个特征向量。 3、 相似度的度量 Similarity 模式识别的依据是模式之间的相似性，我们总是把相似程度高的模式划归为同一类，这就牵涉到如何定量地定义“相似度”的问题。 两个模式xi和xj之间的相似度度量标准应当满足以下几个要求： 相似度应当为非负值 Non-negative 一个模式与自身的相似度应当是最大的 相似度对两个模式是对称的 Symmetry 如果模式的特征是数值型特征，所有模式都是多维几何空间中的点，此时最明显的相似度度量标准就是点与点之间的距离。当然，距离的定义是多种多样的，常用的距离度量（特征维数为n）包括： 欧几里德距离 dij(xk1nikxjk)2 明考夫斯基距离 第 9 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 qndij(q)xikxjkk11q 曼哈顿距离 dijxikxjk k1n 切比雪夫距离 dij()maxxikxjk 1kn对于具有非数值型特征的模式，也可以定义其它的相似度度量标准。例如对两个不同的字符串表示的模式，可以用编辑距离（是指从一个字符串转换成另一个字符串所需的最少的单字符编辑操作次数，允许的单字符编辑操作包括替换、插入和删除）来度量两个模式之间的相似度。 4、 紧致性 Compactness 当特征空间中属于同一个类的模式相似度远高于与其它类中的模式的相似度时，称模式类具有紧致性。 紧致性要求是模式识别的基本要求，只有当两个类之间相似度远低于同一个类内部的相似度时，分类的错误率才会较低。 但是在一个模式识别任务中，有时很难满足紧致性的要求。此时可通过增加特征空间的维数，或进行空间映射变换来增强该问题模式类的紧致性。例如在使用BMI标准对人的胖瘦进行分类时，类别之间紧密相连，紧致性很差。 四、 课程简介 1、 课程基本信息 课程名称：模式识别（导论） 课时：32学时，共分为8个模块 授课教师：高琪（自动化学院模式识别与智能系统研究所） 课程教学方式：课堂讲授+课堂讨论+小组项目实践 项目小组：每组3人，至少来自于2个班，至多包括1名女生。 项目题目：手写签名的离线识别 成绩评定方式： 平时成绩：25% 模块1：课后作业 5% 模块2,3,4,5：小测验 5%×4=20% 项目实践：35% 个人报告： 10% 小组论文： 10% 成果展示： 15% 期末考试：40% 第 10 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义2016版：第一章 绪论 2、 课程内容框架 本课程从模式识别的基本概念入手，在特征选择和特征提取等降维算法的基础上，主要介绍统计模式识别、智能模式识别、结构模式识别和聚类分析。 统计模式识别方面重点介绍以线性分类器为核心的确定性统计分类，和以贝叶斯分类器为核心的随机性统计分类，以及支持向量机的基本概念。智能模式识别简要介绍模糊模式识别和神经网络模式识别，结构模式识别简要介绍句法模式识别。 本课程由于课时关系，对于各种模式识别方法仅作入门介绍，学生如有兴趣，可通过阅读课程所推荐的参考书和其他的有关文献进行更深入的学习。 图3 模式识别课程内容框架 3、 与其它学科关系 图4 模式识别与其他学科的关系 第 11 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 模式识别课程的基础包括概率论与数理统计和线性代数（主要是矩阵《模式识别》讲义2016版：第一章 绪论 运算），这两门课程应当是先修的。对于句法模式识别，本课程中会对其基础――形式语言理论进行简单的介绍。 模式识别是人工智能学科的组成部分，代表了人工智能中的认知能力，与学习能力、推理能力一起构成人工智能的完整范畴。 机器学习是模式识别的扩展，它不仅包括了机器的模式识别能力，还包括了机器发现知识，理解知识，自我进化的能力。 图像处理与机器视觉是目前计算机科学家和自动控制界都在研究的重点领域，在“传感器与检测技术”和“模式识别”技术的共同支持下，信息最丰富、获取最方便的图像数据，可以成为计算机和其他智能设备的主要信息来源。 4、 参考书 以下是本课程推荐的主要参考书：  模式识别. 钟珞，潘昊等. 武汉大学出版社，2006年.  模式识别（第三版）. 张学工. 清华大学出版社，2010年.  模式分类（第二版）. [美] R. O. Duda, P. E. Hart, and D. G. Stork. 机械工业出版社，2003年.  模式识别（第四版）. [希腊] Sergios Theodoridisd. 电子工业出版社，2010年.  模式识别－－原理、方法及应用. [美] J.P.Marques. 清华大学出版社，2002年.  模式识别. 边肇祺等. 清华大学出版社，2000年 第 12 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn