机器学习导论5 神经网络 [待修订]

分类:Machine Learning, 发布于:2019-03-27 14:01:00, 更新于:2019-04-19 00:12:14。 评论

神经元模型

神经网络是具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所做出的反应。

神经元模型是神经网络的基本成分。

  • 输入:来自其他$n$个神经元传递过来的输入信号;
  • 处理:通过带权重的连接进行传递,总输入值将与神经元的阈值进行比较;
  • 输出:通过激活函数的处理以得到输出。

激活函数:

  • 阶跃函数sgn:不连续、不光滑
  • Sigmoid函数

感知机与多层网络

感知机由两层神经元组成,输入层接受外界输入信号传递给输出层,输出层是M-P神经元(阈值逻辑单元)。

感知机能够容易地实现逻辑与、或、非运算。

给定训练数据集,权重$w_i$与阈值$\theta$可以通过学习得到。

多层感知机:输入层与输出层之间的神经元被称之为隐层或隐含层,隐含层和输出层神经元都是具有激活函数的功能神经元。

多层前馈神经网络:每层神经元与下一层神经元全互联,神经元之间不存在同层连接也不存在跨层连接。输入层接受外界输入,隐含层和输出层神经元对信号进行加工,最终结果由输出层神经元输出。

误差逆传播算法

  • 前向计算:使用MSE计算误差
  • 参数数目:
    • 权重$v_{ih}$$w_{hj}$
    • 阈值$\theta_j$$\gamma_h$
    • 共有$(d+l+1)q+l$个参数需要优化
  • 参数优化:
    • BP是一个迭代学习算法,在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计,$v \leftarrow v + \Delta v$

学习率$\eta \in (0, 1)$控制着算法每一轮迭代中的更新步长,若太长则容易震荡,太小则收敛速度会过慢。

局部最优与全局最优

(略)

其他常见神经网络

  • RBF网络:具有足够多隐层神经元的RBF神经网络能以任意精度逼近任意连续函数。

评论