机器学习——综述

一、什么是“机器学习”?

假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,则我们就说关于T和P,该程序对E进行了学习。

简单的说,机器学习是一门研究如何通过计算的手段,利用经验来改善系统自身性能的学科。对计算机系统来说,“经验”即“数据”,机器学习所研究的内容更确切的来说,是关于在计算机上从数据中产生“模型”的算法,即“学习算法”。有了学习算法,我们把经验数据提供给它,它就能基于这些数据产生模型;在面对新的情况时,模型会给我们提供相应地判断。

二、基本术语

1、数据集:一组记录的集合称为一个“数据集”,其中每条记录是关于一个事件或对象的描述,称为一个“示例”或“样本”。

2、属性(特征):反映事件或对象在某方面的表现或性质的事项,称为“属性”或“特征”;属性上的取值称为“属性值”。属性张成的空间称为“属性空间”、“样本空间”或“输入空间”。

3、特征向量:假如一个数据集{X}上的每个示例x都有a、b、c三个属性,我们把a、b、c作为三个坐标轴,则它们张成一个用于描述示例x的三维空间,每个示例x都可以在这个空间中找到自己的坐标位置。由于空间中的每个点对应一个坐标向量,因此我们也把一个示例称为一个“特征向量”。

4、训练(学习):从数据中学得模型的过程称为“训练”或“学习”,这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”,其中每个样本称为一个“训练样本”,训练样本组成的集合称为“训练集”。学得模型对应了关于数据的某种潜在的规律,因此亦称“假设”;这种潜在规律自身,则称为“真相”或“真实”,学习过程就是为了找出或逼近真相。

6、样例:要建立非常接近“真实”的“预测”模型,不仅需要示例数据,还需要获得训练样本的结果信息。关于示例结果的信息,称为“标记”,拥有了标记信息的示例,则称为“样例”。

7、分类与回归:若我们预测的是离散值,此类学习任务称为“分类”;若预测的是连续值,此类任务学习称为“回归”。一般地,预测任务是希望通过对训练集{(x1, y1),(x2, y2),…,(xm, ym)}进行学习,建立一个从输入空间χ到输出空间υ的映射:f : χ —> υ。

8、学得模型后,使用其进行预测的过程称为“测试”,被预测的样本称为“测试样本”。例如在7中学得f后,对测试样例x,可得到其预测标记y=f(x)。

9、“监督学习”与“无监督学习”:根据训练数据是否拥有标记信息,学习任务可大致分为两大类:“监督学习”和“无监督学习”,分类和回归是前者的代表,而聚类是后者的代表。

三、假设空间

机器学习从样例中学习,显然是一个归纳的过程,因此也称为“归纳学习”。

我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程,搜索目标是找到与训练集“匹配”的假设,即能够将训练集中的示例判断正确的假设。假设的表示一旦确定,假设空间及其规模也就确定了。

四、归纳偏好

通过学习得到的模型对应了假设空间中的一个假设。但是往往会出现这样的现象,几个不同的假设,它们有与训练集一致的假设,但是它们对应的模型在面临新样本的时候,却会产生不同的输出。所以对于一个具体的学习算法而言,必须对某种类型的假设有一个偏好,称为“归纳偏好”。

任何一个有效的机器学习算法必有其归纳偏好,否则它虽然在假设空间中看似在训练集上“等效”,却无法产生确定的学习效果。

 

 

《机器学习——综述》有1个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注