机器学习导论3 线性模型 [待修订]

分类:Machine Learning, 发布于:2019-03-13 16:00:00, 更新于:2019-04-19 00:12:14。 评论

线性模型

一般形式: $$f(x) = \sum w_ix_i + b$$

  • $w$:权重
  • $b$:偏置

向量形式: $$f(\boldsymbol{x}) = \boldsymbol{w}^T\boldsymbol{x} + b$$

对于线性分类器,若误分类,则$-y_i(wx_i + b) > 0$,故可以定义损失函数 $$L(w, b) = - \sum y_i(wx_i + b)$$

梯度: $$\nabla_w L(w, b) = - \sum y_ix_i$$ $$\nabla_b L(w, b) = - \sum y_i$$

优点:

  • 形式简单,易于建模
  • 可解释性
  • 非线性模型的基础(引入层级结构或高维映射)

线性回归

目的:学得一个线性模型以尽可能准确地预测实值输出标记

离散属性处理:

  • 有“序”关系:连续化为连续值
  • 无“序”关系:有$k$个属性值,转换为$k$维向量

单一属性的线性回归目标:$f(x) = wx_i + b$使得$f(x_i) \approxeq y_i$

参数/模型估计:最小二乘法 $$(w*, b*) = {\arg\min}_{(w, b)}\sum\limits_{i=1}^{m} (f(x_i) - y_i)^2$$

多元线性回归:写成向量形式,$\hat w* = (x^Tx)^{-1} x y$,若$x$不满秩,则引入正则化。

对数线性回归:$\ln y = \boldsymbol{w}^T\boldsymbol{x} + b$

广义线性回归:$y = g^{-1}(\boldsymbol{w}^T\boldsymbol{x} + b)$$g$称为联系函数(单调可微)。

二分类任务

预测值与输出标记$z = \boldsymbol{w}^T\boldsymbol{x}$,寻找函数将分类标记与线性回归模型输出联系起来。

理想函数:单位阶越函数 $$y = \begin{cases} 0, & z < 0; \ 0.5 & z = 0; \ 1, & z > 0. \end{cases}$$ 预测值大于0就判为正例,小于0判为反例,为临界值0则可以任意判别。

替代函数:对数几率函数 $$y = \dfrac{1}{1+e^{-z}} = \dfrac{1}{1 + e^{-(\boldsymbol{w}^T\boldsymbol{x} + b)}}$$ 单调可微,任意阶可导

对数几率:样本判为正例的相对可能性的对数$\ln \dfrac{y}{1-y} = z = \boldsymbol{w}^T\boldsymbol{x} + b$

对数几率回归的优点:

  • 无需事先假设数据分布
  • 可得到“类别”的近似概率预测
  • 可直接应用现有数值优化算法求取最优解

极大似然法:

  • 最大化样本属于其真实标记的概率
  • 最大化对数似然函数 $$l(\boldsymbol{w}, b) = \sum \ln p(y_1 | \boldsymbol{x}_i; \boldsymbol{w}_i, b)$$

线性判别分析

LDA的思想:

  • 同类样例的投影点尽可能集中,同类样例投影点的协方差尽可能小
  • 异类样例的投影点尽可能远离,类中心之间的距离尽可能大

LDA的最大化目标、广义瑞利商(generalized Rayleigh quotient)(懒得抄了 看书/wiki)

多分类学习

多分类学习方法

  • 二分类学习方法推广到多类
  • 利用二分类学习器解决多分类问题(常用)
    • 对问题进行拆分,为每一个二分类任务训练一个分类器
    • 对于每个分类器的预测结果进行集成以获得最终的多分类结果

拆分策略:

  • 一对一(OvO)
  • 一对其余(OvR)
  • 多对多(MvM)
    • Error Correcting Output Code

梯度下降法

一阶方法: $$f(x + \Delta x) \approx f(x) + \Delta x \nabla f(x), \Delta x = - \gamma \nabla f(x)$$

类别不平衡问题

class imbalance: 不同类别训练样例数相差很大情况(正类为小类)

再缩放:

  • 欠采样:去除一些反例使正反例数目接近(EasyEnsenmble)
  • 过采样:增加一些正例使正反例数目接近(SMOTE)
  • 阈值移动(threshold-moving)

评论