首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

深度学习的数学(三):神经元工作的数学表示

编者按:本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。

前文中用数学式表示了神经元的工作。本节我们试着将其在数学上一般化。

简化神经元的图形

为了更接近神经元的形象,1 - 2 节中将神经元表示为了下图的样子。

然而,为了画出网络,需要画很多的神经元,在这种情况下上面那样的图就不合适了。因此,我们使用如下所示的简化图,这样很容易就能画出大量的神经元。

为了与生物学的神经元区分开来,我们把经过这样简化、抽象化的神经元称为 神经单元(unit)。

注:很多文献直接称为“神经元”。本书为了与生物学术语“神经元”区分,使用“神经单元”这个称呼。另外,也有文献将“神经单元”称为“人工神经元”,但是由于现在也存在生物上的人工神经元,所以本书中也不使用“人工神经元”这个称呼。

激活函数

将神经元的示意图抽象化之后,对于输出信号,我们也对其生物上的限制进行一般化。

根据点火与否,生物学上的神经元的输出 $y$ 分别取值 1 和 0(下图)。

然而,如果除去“生物”这个条件,这个“0 和 1 的限制”也应该是可以解除的。这时表示点火与否的下式(1 - 2 节式 (3))就需要修正。

点火的式子:$y=u(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(1)$

这里,$u$ 是单位阶跃函数。我们将该式一般化,如下所示。

$y=a(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(2)$

这里的函数 $a$ 是建模者定义的函数,称为 激活函数(activation function)。$x_1$、$x_2$、$x_3$ 是模型允许的任意数值,$y$ 是函数 $a$ 能取到的任意数值。这个式 (2) 就是今后所讲的神经网络的出发点。

注:虽然式 (2) 只考虑了 3 个输入,但这是很容易推广的。另外,式 (1) 使用的单位阶跃函数 $u(z)$ 在数学上也是激活函数的一种。

请注意,式 (2) 的输出 $y$ 的取值并不限于 0 和 1,对此并没有简单的解释。一定要用生物学来比喻的话,可以考虑神经单元的“兴奋度”“反应度”“活性度”。

我们来总结一下神经元和神经单元的不同点,如下表所示。

神经元

神经单元

输出值 $y$

0或1

模型允许的任意数值

激活函数

单位阶跃函数

由分析者给出,其中著名的是 Sigmoid 函数(后述)

输出的解释

点火与否

神经单元的兴奋度、反应度、活性度

将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2),要确认这样做是否有效,就要看实际做出的模型能否很好地解释现实的数据。实际上,式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。

Sigmoid 函数

激活函数的代表性例子是 Sigmoid 函数 $\sigma(z)$,其定义如下所示。

$\sigma(z)=\frac{1}{1+{\rm e}^{-z}}~~({\rm e}=2.718281\dots)\quad\quad\quad\quad\quad\quad\quad\quad(3)$

关于这个函数,我们会在后面详细讨论(2-1 节)。这里先来看看它的图形,Sigmoid 函数 $\sigma(z)$ 的输出值是大于 0 小于 1 的任意值。此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。

单位阶跃函数的输出值为 1 或 0,表示点火与否。然而,Sigmoid 函数的输出值大于 0 小于 1,这就有点难以解释了。如果用生物学术语来解释的话,如上文中的表格所示,可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高,接近 0 则表示兴奋度低。

本书中将 Sigmoid 函数作为标准激活函数使用,因为它具有容易计算的漂亮性质。如果用数学上单调递增的可导函数来代替,其原理也是一样的。

偏置

再来看一下激活函数的式 (2)。

$y=a(w_1x_1+w_2x_2+w_3x_3-\theta)\quad\quad\quad\quad\quad\quad\quad\quad(2)$

这里的 $\theta$ 称为阈值,在生物学上是表现神经元特性的值。从直观上讲,$\theta$ 表示神经元的感受能力,如果 $\theta$ 值较大,则神经元不容易兴奋(感觉迟钝),而如果值较小,则神经元容易兴奋(敏感)。

然而,式 (2) 中只有 $\theta$ 带有负号,这看起来不漂亮。数学不喜欢不漂亮的东西。另外,负号具有容易导致计算错误的缺点,因此,我们将 $-\theta$ 替换为 $b$。

$y=a(w_1x_1+w_2x_2+w_3x_3+b)\quad\quad\quad\quad\quad\quad\quad\quad(4)$

经过这样处理,式子变漂亮了,也不容易发生计算错误。这个 $b$ 称为 偏置(bias)。

本书将式 (4) 作为标准使用。另外,此时的加权输入 $z$(1-2 节)如下所示。

$z=w_1x_1+w_2x_2+w_3x_3+b\quad\quad\quad\quad\quad\quad\quad\quad(5)$

式 (4) 和式 (5) 是今后所讲的神经网络的出发点,非常重要。

另外,生物上的权重 $w_1$、$w_2$、$w_3$ 和阈值 $\theta$($=-b$)都不是负数,因为负数在自然现象中实际上是不会出现的。然而,在将神经元一般化的神经单元中,是允许出现负数的。

问题 右图是一个神经单元。如图所示,输入 $x_1$ 的对应权重是 2,输入 $x_2$的对应权重是 3,偏置是 -1。根据下表给出的输入,求出加权输入 $z$ 和输出 $y$。注意这里的激活函数是 Sigmoid 函数。

输入 \boldsymbol{x_1} 输入 \boldsymbol{x_2} 加权输入 \boldsymbol{z} 输出 \boldsymbol{y} 0.2 0.1 0.6 0.5 结果如下表所示(式 (3) 中的 e 取 e = 2.7 进行计算) 输入 \boldsymbol{x_1} 输入 \boldsymbol{x_2} 加权输入 \boldsymbol{z} 输出 \boldsymbol{y} 0.2 0.1 2×0.2 + 3×0.1 - 1 = -0.3 0.43 0.6 0.5 2×0.6 + 3×0.5 - 1 = 1.7 0.84

备注 改写式 (5) 我们将式 (5) 像下面这样整理一下。 $z=w_1x_x+w_2x_2+w_3x_3+b\times1\quad\quad\quad\quad\quad\quad\quad\quad(6)$ 这里增加了一个虚拟的输入,可以理解为以常数 1 作为输入值(右图)。

于是,加权输入 $z$ 可以看作下面两个向量的内积。 $(w_1,w_2,w_3,b)(x_1,x_2,x_3,1)$ 计算机擅长内积的计算,因此按照这种解释,计算就变容易了。

图书简介http://www.ituring.com.cn/book/2593

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/FCoHXHeyO0Y39do38mle
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券