成功教育

您现在的位置是:首页 > 在线教育 > 行业动态

行业动态

学习理论之感知器与最大间隔分类器

2014-10-16 13:14:00行业动态
到目前为止,我们使用的学习方法都是批量学习(batch learning)方式,即首先给定训练集学习出拟合假设函数中的参数,然后评价的效果的时候使用独立的测试集。本篇博文将会介绍一
到目前为止,我们使用的学习方法都是批量学习(batch learning)方式,即首先给定训练集学习出拟合假设函数学习理论之感知器与最大间隔分类器中的参数,然后评价学习理论之感知器与最大间隔分类器的效果的时候使用独立的测试集。本篇博文将会介绍一种在线学习(online learning)方式,即算法必须在学习的过程中不断地作出预测,而不是批量学习方式一样,学习过程结束后才作出预测。在线学习方式下,学习算法按顺序学习一个样本序列:学习理论之感知器与最大间隔分类器. 具体来讲就是,算法先根据学习理论之感知器与最大间隔分类器,利用假设函数学习理论之感知器与最大间隔分类器(参数首先初始化为某些较合适的值),给出学习理论之感知器与最大间隔分类器的预测值,预测完了之后,利用学习理论之感知器与最大间隔分类器的实际值和预测值信息对参数进行更新;然后,在这个更新之后的参数的基础上,根据学习理论之感知器与最大间隔分类器,计算出学习理论之感知器与最大间隔分类器的预测值,再利用学习理论之感知器与最大间隔分类器的实际值和预测值信息更新参数;如此重复下去直到最后一个样本。可以看出,在线学习只关注当前需要学习的样本所带来的误差,所以,在模型的应用过程就是学习参数过程中就需要不断预测,然后根据当前预测值与实际值的信息不断对参数做出调整。我们给出感知器算法的在线学习残差的一个边界。标签集采用学习理论之感知器与最大间隔分类器. 感知器的参数学习理论之感知器与最大间隔分类器,其中 n 是 x 的维度,参数之所以维度多了1,是因为,其中一个参数表示的是假设函数中的常数项,因此这个参数是没有 x 中某元素与之对应. 根据下面假设函数作出预测:学习理论之感知器与最大间隔分类器其中学习理论之感知器与最大间隔分类器给出一个训练样本学习理论之感知器与最大间隔分类器,感知器学习规则就是,如果学习理论之感知器与最大间隔分类器(即预测值和真实值相等),参数不作任何变化,如果不相等,用下面方式更新参数:学习理论之感知器与最大间隔分类器

  下面的理论会给出感知器算法的在线学习错误预测次数的边界,以为每一次在线学习都会产生一个样本误差. 注意在线学习错误预测次数与样本数量和输入的维度之间没有依赖关系。

定理 (Block, 1962, and Noviko , 1962)给定样本序列学习理论之感知器与最大间隔分类器,假设对于所有样本有学习理论之感知器与最大间隔分类器
,进一步假设存在一个单位向量学习理论之感知器与最大间隔分类器使得对于所有样本学习理论之感知器与最大间隔分类器(即,当学习理论之感知器与最大间隔分类器时,学习理论之感知器与最大间隔分类器,当学习理论之感知器与最大间隔分类器时,学习理论之感知器与最大间隔分类器,所以学习理论之感知器与最大间隔分类器以最小间隔至少为学习理论之感知器与最大间隔分类器将数据分类),那么可以得出感知器算法在这个样本序列上的错误预测次数不超过学习理论之感知器与最大间隔分类器. 证明:由上面讨论可知,算法只在假设函数做出了错误的预测时才会更新参数. 用学习理论之感知器与最大间隔分类器表第 k 次错误的权重,所以学习理论之感知器与最大间隔分类器,因为权重被初始化为0, 如果对于样本学习理论之感知器与最大间隔分类器预测错误为第 k 个错误,那么学习理论之感知器与最大间隔分类器,意味着:学习理论之感知器与最大间隔分类器根据感知器学习规则,学习理论之感知器与最大间隔分类器学习理论之感知器与最大间隔分类器,那么:学习理论之感知器与最大间隔分类器

  逐步递推有:

学习理论之感知器与最大间隔分类器
已知学习理论之感知器与最大间隔分类器,于是有:学习理论之感知器与最大间隔分类器  同样推理:
学习理论之感知器与最大间隔分类器

  和上面一样的方法逐步递推可得到:学习理论之感知器与最大间隔分类器学习理论之感知器与最大间隔分类器学习理论之感知器与最大间隔分类器

  一起可得到:学习理论之感知器与最大间隔分类器

上面第二个不等式推导是根据学习理论之感知器与最大间隔分类器是单位向量(并且学习理论之感知器与最大间隔分类器学习理论之感知器与最大间隔分类器是 z 和学习理论之感知器与最大间隔分类器的夹角).上面推导出的结果表明学习理论之感知器与最大间隔分类器.

文章评论