人类视觉系统是大自然的一大奇迹。 考虑下面的手写数字序列：                     

 

大部分人能够毫不费力的识别出这些数字是 504192。这种简单性只是一个幻觉。在我们大脑各半球，有一个主要的视觉皮层，即V1，它包含1.4亿个神经元以及数以百亿的神经元连接。而且人类不只是有V1，还有一系列的视觉皮层——V2,V3,V4和V5，它们能够执行更加复杂的图像处理。我们可以将大脑想象成一台超级计算机，在几亿年的进化中不断改进，最终非常适合理解这个视觉世界。要识别手写数字不是一件非常容易的事。然而，我们人类却能非常惊人的通过我们的眼睛理解所看到的一切，但是几乎所有的工作都是在不知不觉中完成的，以至于我们不会赞叹我们的视觉系统解决的问题有多么艰难。

视觉模式识别困难在于如何让计算机程序识别上面数字变得显而易见。看上去非常简单的事操作起来却变得非常困难。我们识别这个形状的简单直觉是——“一个9头上有一个圆圈，右下角有一笔竖线”——但是对于识别算法却不是那么简单。当试图让这些规则更加精确，你将迅速迷失在大量的例外、警告和特殊案例，而且似乎看不到解决的希望。

 

神经网络用不同的方法来处理这个问题。它的思想就是利用大量的手写数字（训练样本），

 

然后开发出一套从训练样本中进行学习的系统。换句话说，神经网络使用样本来自动推理出识别手写数字的规则。此外，通过增加训练样本规模，神经网络能学到手写体的更多规则从而提升它的识别精度。因此在我们像上面一样只有100张训练数字同时，有可能我们能通过成千上万更多的训练样本来构建更好的手写识别算法。

本章我们将编写一段计算机程序来实现一个能识别手写数字的神经网络。这个程序大概有74行，而且没有使用其他特别的神经网络库，但是这段程序能够具有96%的数字识别精度，而且没有人工干预。此外，在后面的章节中我们将改进算法达到99%以上的精度。实际上，最好的商业神经网络已经很好的应用在银行支票处理以及邮局识别地址等。

我们专注在手写体识别是因为它是一个很好的学习神经网络的原型问题。做为一个原型，它刚好合适：识别手写数字是一个挑战，不是那么容易，而它也不需要一个极其复杂的方案或者巨大的计算能力。此外，它也是开发更多高级技术的好方法，比如深度学习。因此整本书我们将不断重复回到手写识别这个问题。这本书的后面，我们将讨论这些算法思想如何应用到计算机视觉的其他问题，还包括语言识别、自然语言处理和其他领域。

当然，如果本章只是写一个识别手写数字的计算机程序，那么将非常短小！在编写过程中，我们将介绍很多神经网络的关键思想，包括人工神经网络的两大类别（感知器和sigmoid神经元）以及神经网络标准学习算法，即随机梯度下降。整个过程我们将关注在阐述为什么这样处理是有效的，从而让你构建起神经网络直觉。这比只陈述基础的机制更加冗长，但这对更深入理解所学到的内容是值得的。在这些收获上，本章结束你将明白深度学习是什么，且它为什么这么重要。

感知器(Perceptrons)

 

什么是神经网络？在开始之前，我将介绍一种人工的神经元，即感知器(perceptron)。感知器是由Frank  Rosenblatt 在上世纪50到60年代发明的            , 灵感来源于 Warren  McCulloch  和 Walter  Pitts 的早期工作。今天人工神经网络使用更加通用的其他模型，本书以及许多现代的神经网络工作中，主要的神经网络模型是sigmoid神经元。 我们将很快讨论sigmoid神经元，但是为了更好了解它的原理，我们首先要理解感知器。

那么感知器如何工作呢？一个感知器获取几个二进制输入x 1 ,x 2 ,… x1,x2,…，并且产生一个二进制数出：

           

在这个例子中，感知器具有三个输入x 1 ,x 2 ,x 3  x1,x2,x3。通常它会具有更多或更少的输入。Rosenblatt 提出了一个简单规则来计算最后数出。他引入了权重(weights) w 1 ,w 2 ,… w1,w2,…，这些实数表示各个输入对输出的重要性。这个神经元输出(output) 0 0 或者 1 1 是由这些输入的加权求和 ∑ j w j x j  ∑jwjxj 是否大于或者小于某一个阈值(threshold)。不像这些权重，阈值是这个神经元的实数参数。将它们放入更加精确的代数术语中：             \begin{eqnarray} \mbox{output} & = & \left\{

01 if ∑ j w j x j ≤ thresholdif ∑ j w j x j > threshold  0if ∑jwjxj≤ threshold1if ∑jwjxj> threshold

\right. \tag{1}\end{eqnarray} 这就是一个感知器如何工作的全部内容！

 

这是一个基础的数学模型。你可以这么理解感知器，它是一个通过加权凭据来进行决策的设备。让我们来看这个例子，可能它不是一个真实的例子，但是非常好理解，后面我们将很快进入真实的例子。假设周末到了，你听说在你所在的城市将有一个奶酪节，你很喜欢吃奶酪，并且正决定是否要去参加这个节日，你可能会通过以下三个方面来权衡你的决定:

1. 天气好吗？

2. 你的男(女)朋友是否愿意陪你去？

3. 是否这个活动距离公共交通很近？（你自己没车）

我们将这三个因素用对应的二进制变量x 1 ,x 2  x1,x2和x 3  x3表示。比如，当天气还不错时，我们有x 1 =1 x1=1 ，天气不好时x 1 =0 x1=0；相似的，如果男或女朋友愿意去，x 2 =1 x2=1，否则x 2 =0 x2=0；对于公共交通x 3  x3同理赋值。

 

现在假设奶酪是你的最爱，以致于即便你的男或女朋友不感兴趣而且去那里也不太方便，你仍然非常想去参加这个节日活动。但是也许你真的讨厌坏天气，而且如果天气很糟，你也没办法去。你能使用感知器来模拟这类决策。一种决策方式是，让天气权重 w 1 =6 w1=6，其他条件权重分别为w 2 =2 w2=2，w 3 =2 w3=2。权重w 1  w1值越大表示天气影响最大，比起男或女朋友加入或者交通距离的影响都大。最后，假设你选择5做为感知器阈值，按照这种选择，这个感知器就能实现这个决策模型：当天气好时候输出1 1，天气不好时候输出0 0，无论你男或女朋友是否愿意去，或者交通是否比较近。

通过更改权重和阈值，我们能得到不同的决策模型。例如，我们将阈值设为3 3，那么感知器会在以下条件满足时决定去参加活动：如果天气很好、或者男(女)朋友愿意去并且交通很近。换句话说，它将是决策的不同模型，阈值越低，表明你越想去参加这个节日活动。

显然，这个感知器不是人类决策的完整模型！但是这个例子说明了一个感知器如何能将各种凭据进行加权和来制定决策，而且一个复杂的感知器网络能做出非常微妙的决策：

           

在这个网络中，第一列感知器（我们称其为第一层感知器）通过加权输入凭据来做出三个非常简单的决策。那第二列感知器是什么呢？其中每一个感知器都是通过将第一列的决策结果进行加权和来做出自己的决策。通过这种方式，第二层感知器能够比第一层感知器做出更加复杂和抽象层的决策。第三层感知器能做出更加复杂的决策，以此类推，更多层感知器能够进行更加复杂的决策。

 

顺便说一句，当我们定义感知器时，它们都只有一个输出。但上面的网络中，这些感知器看上去有多个输出。实际上，它们也仍然只有一个输出，只不过为了更好的表明这些感知器输出被其他感知器所使用，因此采用了多个输出的箭头线表示，这比起绘制一条输出线然后分裂开更好一些。

让我们简化描述感知器的方式。加权求和大于阈值的条件 ∑ j w j x j >threshold ∑jwjxj>threshold比较麻烦，我们能用两个符号变化来简化它。第一个改变是将 ∑ j w j x j  ∑jwjxj 改写成点乘方式，w⋅x≡∑ j w j x j  w⋅x≡∑jwjxj，其中w w 和 x x 分别是权重和输入的向量。第二个改变是将阈值放在不等式另一边，并用偏移 b≡−threshold b≡−threshold 表示。通过使用偏移代替阈值，感知器规则能够重写为：             \begin{eqnarray} \mbox{output} = \left\{

01 if w⋅x+b≤0if w⋅x+b>0  0if w⋅x+b≤01if w⋅x+b>0

\right. \tag{2}\end{eqnarray} 你可以将偏移想象成使感知器如何更容易输出 1 1，或者用更加生物学术语，偏移是指衡量感知器触发的难易程度。对于一个大的偏移，感知器更容易输出 1 1。如果偏移负值很大，那么感知器将很难输出 1 1。显然，引入偏移对于描述感知器改动不大，但是我们后面将看到这将简化符号描述。正因如此，本书剩下部分都将使用偏移，而不是用阈值。

 

我们已经介绍了用感知器，基于凭据(evidence)的加权求和来进行决策。感知器也能够被用来计算基本逻辑函数，像             AND,             OR, and             NAND 这些通常被看做是实现计算的基础。比如说， 假设我们有一个两个输入的感知器，每个输入具有权重−2 −2，整个偏移为3 3，如下所示感知器：

           

那么我们将看到输入00 00会产生输出1 1，因为(−2)∗0+(−2)∗0+3=3 (−2)∗0+(−2)∗0+3=3是正数。这里，我们引入∗ ∗符号来进行显示乘法。与此类似，输入01 01和10 10都将产生输出1 1。但是输入11 11将产生输出0 0，因为(−2)∗1+(−2)∗1+3=−1 (−2)∗1+(−2)∗1+3=−1是负数。因此这个感知器实现了一个NAND门!

 

       

这个NAND 门例子表明我们能够使用感知器来计算简单的逻辑函数。实际上，我们能够使用感知器网络来计算任意的逻辑函数。原因是NAND 门在计算中是通用的，也就是，我们能够用一些NAND 门来构造任意计算。比如，我们能够用NAND门来构建两个二进制变量x 1  x1和x 2  x2的位加法电路。这需要对它们按位求和x 1 +x 2  x1+x2，同时当x 1  x1和x 2  x2都是1 1时候进位1 1。进位就是x 1  x1和x 2  x2的按位乘：

           

为了得到相同的感知器网络，我们将NAND门用具有两个输入的感知器代替，每一个输入具有权重−2 −2，整体具有偏移3 3。以下是感知器网络结果，注意我们把右下角的NAND门对应的感知器向左移动了一点，以便绘制图表中的箭头：

           

值得注意的是，这个感知器网络中最左边的感知器输出被右下角的感知器使用了两次。当我们定义感知器模型时，我们说这种双倍输出到同一个感知器是不允许的。实际上，这没什么关系，如果我们不允许这种情况，只需要把这两条线合并成一条线，并且将权重设置为-4即可。（如果不这么认为，那么你需要停下来并证明一下它们等同性）在这点小改变后，感知器网络如下所示，没有标签的权重为-2，所有偏移为3，唯一权重为-4的边进行了标记：                                       直到现在，我们将变量输入x 1  x1和x 2  x2绘制到感知器网络的左边。实际上，更变的应该绘制一层额外的感知器——输入层(input layer)来编码输入：

           

这个只有一个输出，没有输入的输入感知器,

           

是一个简写。这么看，假设我们有一个没有输入的感知器，那么权重和 ∑ j w j x j  ∑jwjxj 将始终为0 0，那么如果偏差b>0 b>0，感知器将输出1 1，否则输出0 0。也就是，这个感知器将简单的输出一个固定的值，而不是希望的值（如上面的例子中x 1  x1）。更好的理解输入感知器可以将其不当作感知器，而是一个简单定义期望值x 1 ,x 2 ,… x1,x2,…输出的特殊单元。

 

这个加法器例子演示了感知器网络能够模拟具有许多与非门的电路。并且由于与非门对于计算是通用的，因此感知器也是对计算通用的。

感知器的计算通用性同时让人满意，也让人失望。它让人满意是因为感知器网络能够像其他计算装置那么强大，但是也是让人失望是因为它看起来只是一种新的与非门，不是什么大新闻！

不过，情况比这个观点更好一些。它能够让我们设计学习算法，这种算法能够自动调整人工神经网络的权重和偏移。这会在响应外部刺激时候发生，而且没有程序员的直接干预。这些学习算法能让我们用一种新的方式使用人工神经网络，它将与传统的逻辑门方法完全不同。替代显示的摆放一个具有与非门和其他门的电路，我们的神经网络能够学会简单地解决这些问题，有些问题对于直接设计 传统电路来说非常困难。

Sigmoid神经元

 

学习算法听起来好极了。但是我们如何对一个神经网络设计算法。假设我们有一个想通过学习来解决问题的感知器网络。比如，网络的输入可能是一些扫描来的手写数字图像原始像素数据。且我们希望这个网络能够学会调权和偏移以便正确的对它们进行数字分类。为了看到学习如何进行，假设我们在网络中改变一点权重（或者偏移）。我们希望很小的权重改变能够引起网络输出的细微改变。后面我们将看到，这个特性将使学习成为可能。以下示意图就是我们想要的（显然这个网络对于手写识别太简单！）：

           

 

如果权重或者偏移的细小改变能够轻微影响到网络输出，那么我们会逐步更改权重和偏移来让网络按照我们想要的方式发展。比如，假设网络错误的将数字“9”的图像识别为“8”，我们将指出如何在权重和偏移上进行细小的改动来使其更加接近于“9”。（tensorfly.cn社区原创）并且这个过程将不断重复，不断地改变权重和偏移来产生更好的输出。于是这个网络将具有学习特性。

问题是在我们的感知器网络中并没有这样发生。实际上，任何一个感知器的权重或者偏移细小的改变有时都能使得感知器输出彻底翻转，从0 0到1 1。这种翻转可能导致网络剩余部分的行为以某种复杂的方式完全改变。因此当“9”可能被正确分类后，对于其他图片，神经网络行为结果将以一种很难控制的方式被完全改变。这使得很难看出如何逐渐的调整权重和偏移以至于神经网络能够逐渐按照预期行为接近。也许对于这个问题有一些聪明的方式解决，但是目前如何让感知器网络学习还不够清楚。

我们能通过引入一种新的人工神经元（sigmoid神经元）来克服这个问题。它和感知器类似，但是细微调整它的权重和偏移只会很细小地影响到输出结果。这就是让sigmoid神经元网络学习的关键原因。

好的，让我们来描述一下这个sigmoid神经元。我们将用描绘感知器一样来描绘它：

           

就像感知器，sigmoid神经元有输入x 1 ,x 2 ,… x1,x2,…。但是输入值不仅是0 0或者1 1，还可以是0 0到1 1的任意值。因此，比如0.638… 0.638…对于sigmoid神经元是一个合理的输入。也像感知器一样，sigmoid神经元对每一个输入都有对应的权重w 1 ,w 2 ,… w1,w2,…，还有一个全局的偏移b b。但是输出不是0 0或者1 1，而是σ(w⋅x+b) σ(w⋅x+b)，σ σ是sigmoid函数**顺便说一下，σ σ有时叫做逻辑函数，并且这种新的神经元叫做逻辑神经元。记住这个术语非常重要，因为许多研究中的神经网络都在使用它。，定义如下：             \begin{eqnarray} \sigma(z) \equiv \frac{1}{1+e^{-z}}. \tag{3}\end{eqnarray}把这些更直接的放在一起，具有输入x 1 ,x 2 ,… x1,x2,…，权重w 1 ,w 2 ,… w1,w2,…和偏移b b的sigmoid神经元输出为：             \begin{eqnarray} \frac{1}{1+\exp(-\sum_j w_j x_j-b)}. \tag{4}\end{eqnarray}

 

眨眼一看，sigmoid神经元跟感知器非常不同。对于不熟悉的人来说，sigmoid函数的代数形式看起来很晦涩和令人生畏。实际上，感知器和sigmoid神经元有很多相似之处，并且sigmoid函数的代数形式展现了更多的技术细节。

为了理解和感知器模型的相似点，假设z≡w⋅x+b z≡w⋅x+b是一个大的正数，那么e −z ≈0 e−z≈0且σ(z)≈1 σ(z)≈1。换句话说，当z=w⋅x+b z=w⋅x+b是一个很大的正数，sigmoid神经元的输出接近于1 1，这和感知器结果类似。另外假设z=w⋅x+b z=w⋅x+b是一个很小的负数，那么e −z →∞ e−z→∞，并且σ(z)≈0 σ(z)≈0。因此当z=w⋅x+b z=w⋅x+b是一个很小负数时候，sigmoid神经元和感知器的输出也是非常接近的。只有当w⋅x+b w⋅x+b在一个适度的值，sigmoid神经元和感知器偏差才较大。

σ σ函数的代数形式是什么？我们如何理解它呢？实际上，σ σ函数的准确形式不太重要——真正有用的是绘制的函数形状，看看下面这个形状：

 

            -4-3-2-1012340.00.20.40.60.81.0zsigmoid function

 

这是一个阶跃函数的平滑版本：

 

-4-3-2-1012340.00.20.40.60.81.0zstep function

 

如果σ σ函数实际上是一个阶跃函数，那么sigmoid神经元就是一个感知器，因为输出是1 1或者0 0，取决于w⋅x+b w⋅x+b是正还是负。**实际上，当w⋅x+b=0 w⋅x+b=0时，感知器趋于0 0，而阶跃函数输出1 1。所以，严格的说，我们只需要在一个点上修改阶跃函数。使用上面我们说明的实际σ σ函数，将得到一个平滑的感知器。实际上，σ σ函数的平滑程度是至关重要的，而不是它的具体形式。σ σ函数越平滑意味着权重微调Δw j  Δwj和偏移微调Δb Δb将对神经元产生一个细小的输出改变Δoutput Δoutput。实际上，微积分告诉我们细小的输出Δoutput Δoutput近似等于：             \begin{eqnarray} \Delta \mbox{output} \approx \sum_j \frac{\partial \, \mbox{output}}{\partial w_j} \Delta w_j + \frac{\partial \, \mbox{output}}{\partial b} \Delta b, \tag{5}\end{eqnarray}其中总和基于所有的权重w j  wj，且∂output/∂w j  ∂output/∂wj和∂output/∂b ∂output/∂b分别表示output output基于w j  wj和b b的偏导数。不用见到偏导就惊慌！虽然上面具有偏导运算的表达式看起来很复杂，但实际上很简单（这是一个好消息）：输出改变Δoutput Δoutput是权重和偏移改变Δw j  Δwj和Δb Δb的线性函数。这种线性使得权重和偏移的细微改变就能很容易使得输出按期望方式微小改变。因此sigmoid神经元具有和感知器同样的定性行为，同时还能方便的找出权重与偏移如何对输出的产生影响。

如果σ σ函数的形状的确起作用，而不是其精确的形式，那么在表达式(3)

σ(z)≡11+e −z    σ(z)≡11+e−z

            中为什么使用这种形式呢？实际上在本书后面，我们将偶尔考虑神经元的输出函数为f(w⋅x+b) f(w⋅x+b)来做为激活函数f(⋅) f(⋅)。主要的改变是当我们使用不同的激活函数之后，等式(5)

Δoutput≈∑ j ∂output∂w j  Δw j +∂output∂b Δb  Δoutput≈∑j∂output∂wjΔwj+∂output∂bΔb

            中的偏导值将跟随改变。结果就是当我们后面计算偏导时，使用σ σ函数将简化代数计算，因为指数形式区别于其他具有更好的偏导特性。在任何情况下，σ σ函数在神经网络中被广泛使用，在本书中也是我们经常使用的激励函数。

 

我们如何解读sigmoid神经元输出？显然，感知器和sigmoid神经元最大的区别是sigmoid神经元不是只输出0 0或者1 1。它能够输出0 0到1 1之间任意实数，如0.173… 0.173…和0.689… 0.689…都是合理的输出。这将非常有用，比如，如果你想使用输出值来表示神经网络中一张输入图像像素的平均强度。但是有时候这又非常讨厌。假设我们想从神经网络中指明要么“输入图像是9”或者“输入图像不是9”。显然像感知器一样只输出0 0或1 1更容易处理。但实际上，我们将建立一个约定来处理这个问题，比如，将至少是0.5 0.5的输出当做为“9”，其他比0.5 0.5小的输出当做为“非9”。我们使用这样约定总是明确的，因此不会产生如何混淆。

练习

• Sigmoid神经元模拟感知器，第一部分                      
  假设我们将感知器网络中的权重和偏移乘以一个正常数c>0 c>0。证明该网络的输出行为不会改变。

   

   

• Sigmoid神经元模拟感知器，第二部分                  
  假设和感知器网络最后一个问题一样，整个输入都设定好，不需要真实的输入值，只需要固定输入值。假设对于网络中某些特殊感知器输入x x，使得w⋅x+b≠0 w⋅x+b≠0。将这些感知器用神经元替换，那么再将权重和偏移乘以一个正常数c>0 c>0，可以证明当c→∞ c→∞ 时，神经元网络和感知器网络的行为将是一样的。那么对于感知器中w⋅x+b=0 w⋅x+b=0的那些呢，是否不成立？

 

神经网络体系结构

 

在下一区段，我将介绍用神经网络能够很好的对手写数字进行区分。先做点准备，让我们命名一下网络中不同部分的术语。假如我们有如下网络：

           

就像先前说的，网络的最左边一层被称为输入层，其中的神经元被称为输入神经元。最右边及输出层包含输出神经元，在这个例子中，只有一个单一的输出神经元。中间层被称为隐含层，因为里面的神经元既不是输入也不是输出。“隐含”这个术语可能听起来很神秘——当我第一次听到时候觉得一定有深层的哲学或者数学意义——但实际上它只表示“不是输入和输出”而已。上面的网络只包含了唯一个隐含层，但是一些网络可能有多层。比如，下面的4层网络具有2个隐含层：

           

令人困扰的是，由于一些历史原因，这样的多层网络有时被叫做多层感知器或者MLPs尽管它是由sigmoid神经元构成的，而不是感知器。在这本书中，我将不会使用MLP，因为我觉得它太混淆了，但是提醒你它可能在其它地方出现。

 

网络中的输入和输出层设计通常很简单，比如，假设我们试着确定手写图片是否代表“9”。设计网络更自然的方式是将图像像素强度编码进输入神经元。如果图像是一幅64 64 by 64 64的灰度图，那么我们将有4,096=64×64 4,096=64×64个输入神经元，每一个是介于0 0和1 1的强度值。输出层将只包含一个神经元，输出值小于0.5 0.5表示“输入图像不是9”，大于0.5 0.5表示“输入图像是9”。

 

 

虽然神经元网络的输入输出层很简单，设计好隐含层却是一门艺术。特别是很难将隐含层的设计过程总结出简单的经验规则。相反，神经元研究者已经为隐含层开发出许多启发式设计，它们能帮助大家获取所期望行为的网络。例如，一些启发式算法能帮助确定如何平衡隐含层数量与网络训练花费时间。我们将在本书后面见到一些这样的启发式设计。

直到现在，我们已经讨论了某一层的输出当作下一层的输入的神经网络。这样的网络被称为前向反馈神经网络。这意味着在网络中没有循环——信息总是向前反馈，决不向后。如果真的有循环，我们将终止这种输入依赖于输出的σ σ函数。这会很难理解，因此我们不允许这样的循环。

但是，人工神经网络也有一些具有循环反馈。这样的模型被称为递归神经网络。这样的模型思想是让神经元在不活跃之前激励一段有限的时间。这种激励能刺激其它神经元，使其也能之后激励一小会。这就导致了更多神经元产生激励，等过了一段时间，我们将得到神经元的级联反应。在这样的模型中循环也不会有太大问题，因为一个神经元的输出过一会才影响它的输入，而不是瞬间马上影响到。

 

递归神经网络没有前馈神经网络具有影响力，因为递归网络的学习算法威力不大（至少到目前）。但是递归网络仍然很有趣，它们比起前馈网络更加接近于我们人脑的工作方式。并且递归神经网络有可能解决那些前馈网络很难解决的重要问题。但是为了限制本书的范围，我们将集中在已经被大量使用的前馈神经网络上。

一个分类手写数字的简单神经网络

 

定义了神经网络后，让我们回到手写识别。我们能将识别手写数字分成两个子问题。首先，我们想办法将一个包含很多数字的图像分成一系列独立的图像，每张包含唯一的数字。比如我们将把下面图像

 

分成6个分离的小图像，

 

我们人类能够很容易解决这个分段问题，但是对于计算机程序如何正确的分离图像却是一个挑战。然后，一旦这幅图像被分离，程序需要将各个数字进行分类。因此，比如，我们希望程序能够将上面的第一个数字

 

识别为5。

我们主要关注在第二个问题，也就是，分类这些独立的数字图像。我们这么做是因为一旦你能够找到一个好方式来分类独立的图像，分离问题就不是那么难解决了。有许多途径能够解决分离问题，一种途径是试验很多不同的分离图像方法，并采用独立图像分类器给每个分离试验打分。如果独立数字分类器坚信某种分离方式，那么打分较高。如果分类器在某些片断上问题很多，那么得分就低。这个思想就是如果分类器分类效果很有问题，那么很可能是分离方式不对造成。这种想法和一些变型能够很好解决分离问题。因此无须担心分离，我们将集中精力开发一个神经网络，它能解决更有趣和复杂的问题，即识别独立的手写数字。

为了识别这些数字，我们将采用三层神经网络：

           

 

网络的输入层含有输入像素编码的神经元。跟下节讨论的一样，我们用于网络训练的数据将包含许多28 28 by 28 28像素手写数字扫描图像，因此输入层包含784=28×28 784=28×28个神经元。为了简化，我们在上图中忽略了许多输入神经元。输入像素是灰度值，白色值是0.0 0.0，黑色值是1.0 1.0，它们之间的值表明灰度逐渐变暗的程度。

网络的第二层是隐含层。我们将其神经元的数量表示为n n，后面还对其采用不同的n n值进行实验。这个例子中使用了一个小的隐含层，只包含n=15 n=15个神经元。

网络的输出层包含10个神经元。如果第一个神经元被触发，例如它有一个≈1 ≈1的输出，那么这就表明这个网络认为识别的数字是0 0。更精确一点，我们将神经元输出标记为0 0到9 9，然后找出具有最大激励值的神经元。如果这个神经元是6 6，那么这个网络将认为输入数字是6 6。对于其他神经元也有类似结果。

你可能想知道为什么用10 10个输出神经元。别忘了，网络的目标是识别出输入图像对应的数字（0,1,2,…,9 0,1,2,…,9）。一种看起来更自然的方法是只用4 4个输出神经元，每个神经元都当做一个二进制值，取值方式取决于神经元输出接近0 0，还是1 1。4个神经元已经足够用来编码输出，因为2 4 =16 24=16大于输入数字的10种可能值。（tensorfly社区原创，qq群： 472113439）为什么我们的网络使用10 10个神经元呢？是否这样效率太低？最终的理由是以观察和实验为依据的：我们能尝试两种网络设计，最后结果表明对于这个特殊问题，具有10 10个输出神经元的网络能比只有4 4个输出神经元的网络更好的学习识别手写数字。这使得我们想知道为什么具有10 10个输出神经元的网络效果更好。这里是否有一些启发，事先告诉我们应该用10 10个输出神经元，而不是4 4个输出神经元？

为了弄懂我们为什么这么做，从原理上想清楚神经网络的工作方式很重要。首先考虑我们使用10 10个输出神经元的情况。让我们集中在第一个输出神经元上，它能试图确定这个手写数字是否为0 0。它通过对隐含层的凭据进行加权和求出。隐含层的神经元做了什么呢？假设隐含层中第一个神经元目标是检测到是否存在像下面一样的图像：

 

它能够对输入图像与上面图像中像素重叠部分进行重加权，其他像素轻加权来实现。相似的方式，对隐含层的第二、三和四个神经元同样能检测到如下所示的图像：

 

你可能已经猜到，这四幅图像一起构成了我们之前看到的0 0的图像：

 

因此如果这四个神经元一起被触发，那么我们能够推断出手写数字是0 0。当然，这些不只是我们能推断出0 0的凭据类别——我们也可以合理的用其他方式得到0 0（通过对上述图像的平移或轻微扭曲）。但是至少这种方式推断出输入是0 0看起来是安全的。

 

 

 

假设神经网络按这种方式工作，我们能对为什么10 10个输出神经元更好，而不是4 4个，给出合理的解释。如果我们有4 4个输出神经元，那么第一个输出神经元将试着确定什么是数字图像中最重要的位。这里没有很容易的方式来得到如上图所示简单的形状的重要位。很难想象，这里存在任何一个很好的根据来说明数字的形状组件与输出重要位的相关性。

现在，就像所说的那样，这就是一个启发式。没有什么能说明三层神经网络会按照我描述的那样运作，这些隐含层能够确定简单的形状组件。可能一个更聪明的学习算法将找到权重赋值以便我们使用4 4个输出神经元。但是我描述的这个启发式方法已经运作很好，能够节约很多时间来设计更好的神经元网络架构。

练习

• 有一个方法能够对上面的三层网络增加一个额外层来确定数值位表示。这个额外层将先前输出层转换为二进制表示，就像下图说明一样。找到这层新的输出神经元权重和偏移。假定第3 3层神经元（例如，原来的输出层）正确的输出有至少0.99 0.99的激励值，不正确的输出有小于0.01 0.01的激励值。

 

           

 

 

 

 

梯度下降学习算法

 

 

现在我们已经有一个设计好的神经网络，它怎样能够学习识别数字呢？首要的事情是我们需要一个用于学习的数据集——也叫做训练数据集。我们将使用MNIST数据集，它包含成千上万的手写数字图像，同时还有它们对应的数字分类。MNIST的名字来源于NIST（美国国家标准与技术研究所）收集的两个修改后的数据集。这里是一些来自于MNIST的图像：

 

就像你看到的，事实上这些数字和本章开始展示的用于识别的图像一样。当然，测试我们的网络时候，我们会让它识别不在训练集中的图像！

MNIST数据来自两部分。第一部分包含60,000幅用于训练的图像。这些图像是扫描250位人员的手写样本得到的，他们一半是美国人口普查局雇员，一半是高中学生。这些图像都是28乘28像素的灰度图。MNIST数据的第二部分包含10,000幅用于测试的图像。它们也是28乘28的灰度图像。我们将使用这些测试数据来评估我们用于学习识别数字的神经网络。为了得到很好的测试性能，测试数据来自和训练数据不同的250位人员（仍然是来自人口普查局雇员和高中生）。 这帮助我们相信这个神经网络能够识别在训练期间没有看到的其他人写的数字。

我们将使用符号x x来表示训练输入。可以方便的把训练输入x x当作一个28×28=784 28×28=784维的向量。每一个向量单元代表图像中一个像素的灰度值。我们将表示对应的输出为y=y(x) y=y(x)，其中y y是一个10 10维向量。比如，如果一个特殊的训练图像x x，表明是6 6，那么y(x)=(0,0,0,0,0,0,1,0,0,0) T  y(x)=(0,0,0,0,0,0,1,0,0,0)T就是网络期望的输出。注意T T是转置运算，将一个行向量转换为列向量。

我们想要的是一个能让我们找到合适的权重和偏移的算法，以便网络输出y(x) y(x)能够几乎满足所有训练输入x x。为了量化这个匹配度目标，我们定义了一个代价函数**有时被称为损失或目标函数。我们在本书中都使用代价函数，但是你需要注意其他术语，因为它通常在一些研究文章和神经网络讨论中被使用到。:             \begin{eqnarray} C(w,b) \equiv \frac{1}{2n} \sum_x \| y(x) - a\|^2. \tag{6}\end{eqnarray} 这里，w w表示网络中的所有权重，b b是所有偏移，n n训练输入的总数，a a是网络输入为x x时的输出向量，总和是对所有输入x x进行的累加。当然输出a a取决于x x，w w和b b，但是为了符号简化，我没有指明这种依赖关系。符号∥v∥ ‖v‖只是表示向量v v的长度。我们称C C为二次型代价函数；它有时候也叫做均方误差或MSE。检验二次型代价函数，我们能看到C(w,b) C(w,b)是一个非负值，因为求和中的每一项都是非负的。此外，对于所有训练数据x x，y(x) y(x)和输出a a近似相等时候，C(w,b) C(w,b)会变得很小，例如，C(w,b)≈0 C(w,b)≈0。因此如果我们的训练算法能找到合理的权重和偏移使得C(w,b)≈0 C(w,b)≈0，这将是一个很好的算法。相反，如果C(w,b) C(w,b)很大——这意味着y(x) y(x)和大量输出a a相差较大。所以训练算法的目标就是找到合适的权重和偏移来最小化C(w,b) C(w,b)。换句话说，我们想找到一组权重和偏移集合，使得代价函数值尽可能小。我们将使用梯度下降算法来实现。

 

 

 

 

 

 

 

 

 

 

为什么引入二次型代价函数？毕竟，我们不是主要关注在网络对多少图像进行了正确分类？为什么不直接最大化这个数值，而不是最小化一个像二次型代价函数一样的间接测量值？问题就在于正确识别的图像数量不是权重和偏移的平滑的函数。对于大多数，权重和偏移的很小改变不会让正确识别的图像数量值有任何改变。这就使得很难指出如何改变权重和偏移来提高性能。如果我们使用一个像二次型的平滑代价函数，它将很容易指出如何细微的改变权重和偏移来改进代价函数。这就是为什么我们首先关注在最小化二次型代价函数，而且只有那样我们才能检测分类的准确性。

 

即使我们想使用一个平滑的代价函数，你可能仍然想知道为什么在等式(6)

C(w,b)≡12n ∑ x ∥y(x)−a∥ 2   C(w,b)≡12n∑x‖y(x)−a‖2

            中选择了二次型代价函数。它难道不是一个临时的选择？也许如果我们选择一个不同的代价函数，我们将获取到完全不同的最小化权重和偏移？这是一个很好的考虑，后面我们将回顾这个代价函数，并且进行一些改变。但是，这个等式(6)

C(w,b)≡12n ∑ x ∥y(x)−a∥ 2   C(w,b)≡12n∑x‖y(x)−a‖2

            中的二次型代价函数对理解神经网络学习基础非常好，因此目前我们将坚持使用它。

 

简要回顾一下，我们训练神经网络的目标是找出能最小化二次型代价函数C(w,b) C(w,b)的权重和偏移。这是一个适定问题，但是它会产生许多当前提出的干扰结构——权重w w和偏移b b的解释、背后隐藏的σ σ函数、网络架构的选择、MNIST等等。结果说明我们能通过忽略许多这类结构来理解大量内容，且只需要集中在最小化方面。因此现在我们将忘掉所有关于代价函数的特殊形式，神经网络的连接关系等等。相反，我们将想象成只简单的给出一个具有许多变量的函数，且我们想要最小化它的值。我们将开发一个新技术叫梯度下降，它能被用来解决这类最小化问题。然后我们将回到神经网络中这个想最小化的特殊函数。

好的，假设我们将最小化一些函数C(v) C(v)。它可能是具有许多变量v=v 1 ,v 2 ,… v=v1,v2,…的任意真实值函数。请注意，我们将用v v替换符号w w和b b来强调它可以适合任意一个函数——我们并不是一定在神经网络的背景下考虑。为了最小化C(v) C(v)，可以把C C想象成只具有两个变量，即v 1  v1和v 2  v2：

 

我们想要找到怎样才能使C C达到全局最小化。现在，当然，对上面绘制的函数，我们能看出该图中最小化位置。从这种意义上讲，我可能展示了一个太简单的函数！一个通常的函数C C可能由许多变量构成，并且很难看出该函数最小化位置在哪里。

一种解决办法就是使用微积分来解析地找到这个最小值。我们能计算导数，然后使用它们来找到C C函数最小极值的位置。当C C只有一个或少量变量时，这个办法可能行得通。但是当我们有许多变量时，这将变成一场噩梦。且对于神经网络，我们通常需要更多的变量——最大的神经网络在极端情况下，具有依赖数十亿权重和偏移的代价函数。使用微积分来求最小值显然行不通！

(在断言我们通过把C C当作只具有两个变量的函数来获得领悟后，我将用两段第二次转回来，并且说：“嘿，一个具有超过两个变量的函数是什么呢？”，对此很抱歉。请相信我，把C C想象成只具有两个变量的函数对我们理解很有帮助。有时候想象会中断，且最后两段将处理这种中断。好的数学思维通常会涉及应付多个直观想象，学会什么时候合适使用每一个想象，什么时候不合适。）

       

Ok，所以用微分解析的方法行不通。幸运的是，我们可以通过一种非常直观的类比来找到一种“行得通”的算法。首先将我们的函数看作是一个凹形的山谷。（瞄一眼上面的插图，这种想法应该是很直观的。）好，现在让我们想象有一个小球沿着山谷的坡面向低处滚。生活经验告诉我们这个小球最终会到达谷底。或许我们可以采用类似的思路找到函数的最小值？好，首先我们将随机选取一个点作为这个（想象中的）球的起点，然后再模拟这个小球沿着坡面向谷底运动的轨迹。我们可以简单地通过计算 C C 的偏导数（可能包括某些二阶偏导数）来进行轨迹的模拟——这些偏导数蕴涵了山谷坡面局部“形状”的所有信息，因此也决定了小球应该怎样在坡面上滚动。

根据我刚才所写的内容，你可能会以为我们将从小球在坡面上滚动的牛顿运动方程出发，然后考虑重力和坡面阻力的影响，如此等等……实际上，我们不会把“小球在坡面滚动”的这一类比太过当真——毕竟，我们我们的初衷是要设计一种最小化 C C 的算法，而不是真地想精确模拟现实世界的物理定律！“小球在坡面滚动”的直观图像是为了促进我们的理解和想象，而不应束缚我们具体的思考。所以，与其陷入繁琐的物理细节，我们不妨这样问自己：如果让我们来当一天上帝，那么我们会怎样设计我们自己的物理定律来引导小球的运动？我们该怎样选择运动定律来确保小球一定会最终滚到谷底？

为了将这个问题描述得更确切，现在让我们来想想，当我们将小球沿着 v 1  v1 方向移动一个小量Δv 1  Δv1，并沿着 v 2  v2 方向移动一个小量 Δv 2  Δv2 之后会发生什么。微分法则告诉我们，C C 将作如下改变:             \begin{eqnarray} \Delta C \approx \frac{\partial C}{\partial v_1} \Delta v_1 + \frac{\partial C}{\partial v_2} \Delta v_2. \tag{7}\end{eqnarray}  我们将设法选择 Δv 1  Δv1 和 Δv 2  Δv2 以确保 ΔC ΔC 是负数，换句话说，我们将通过选择 Δv 1  Δv1 和 Δv 2  Δv2 以确保小球是向着谷底的方向滚动的。为了弄清楚该怎样选择 Δv 1  Δv1 和 Δv 2  Δv2，我们定义一个描述 v v 改变的矢量 Δv≡(Δv 1 ,Δv 2 ) T  Δv≡(Δv1,Δv2)T，这里的 T T 同样是 转置（transpose）算符，用来将一个行矢量转化为列矢量。我们还将定义 C C 的“梯度”，它是由 C C 的偏导数构成的矢量，(∂C∂v 1  ,∂C∂v 2  ) T  (∂C∂v1,∂C∂v2)T 。我们将“梯度”矢量记为 ∇C ∇C，即：             \begin{eqnarray} \nabla C \equiv \left( \frac{\partial C}{\partial v_1}, \frac{\partial C}{\partial v_2} \right)^T. \tag{8}\end{eqnarray} 很快我们将会用 Δv Δv 和梯度 ∇C ∇C 来重写 ΔC ΔC 的表达式。在这之前，为了避免读者可能对“梯度”产生的困惑，我想再多做一点解释。当人们首次碰到∇C ∇C这个记号的时候，可能会想究竟该怎样看待∇ ∇这个符号。∇ ∇的含义到底是什么？其实，我们完全可以把∇C ∇C整体看作是单一的数学对象——按照上述公式定义的矢量，仅仅是偶然写成了用两个符号标记的形式。根据这个观点，∇ ∇像是一种数学形式的旗语，来提醒我们“嘿，∇C ∇C是一个梯度矢量”，仅此而已。当然也有更抽象的观点，在这种观点下，∇被看作是一个独立的数学实体（例如，被看作一个微分算符），不过我们这里没有必要采用这种观点。

使用上述定义，ΔC ΔC 的表达式 (7)

ΔC≈∂C∂v 1  Δv 1 +∂C∂v 2  Δv 2   ΔC≈∂C∂v1Δv1+∂C∂v2Δv2

            可以被重写为：             \begin{eqnarray} \Delta C \approx \nabla C \cdot \Delta v. \tag{9}\end{eqnarray}  这个方程有助于我们理解为什么 ∇C ∇C 被称为“梯度”矢量：∇C ∇C 将 v v 的改变和 C C 的改变联系在了一起，而这正是我们对于“梯度”这个词所期望的含义。然而，真正令我们兴奋的是这个方程让我们找到一种 Δv Δv 的选择方法可以确保 ΔC ΔC 是负的。具体来说，如果我们选择 \begin{eqnarray} \Delta v = -\eta \nabla C, \tag{10}\end{eqnarray}  这里 η η 是一个正的小参数，被称为“学习率”（learning rate)。这样方程span id="margin_859162866010_reveal" class="equation_link">(9)

ΔC≈∇C⋅Δv  ΔC≈∇C⋅Δv

            化为 ΔC≈−η∇C⋅∇C=−η∥∇C∥ 2  ΔC≈−η∇C⋅∇C=−η‖∇C‖2。如果我们根据公式 (10)

Δv=−η∇C  Δv=−η∇C

            指定 v v 的改变，由于 ∥∇C∥ 2 ≥0 ‖∇C‖2≥0 ，它确保了 ΔC≤0 ΔC≤0，即 C C 的值将一直减小，不会反弹。（当然要在近似关系 (9)

ΔC≈∇C⋅Δv  ΔC≈∇C⋅Δv

            ) 成立的范围内）。这正是我们期望的性质！因此，我们将在梯度下降算法（gradient descent algorithm）中用公式 (10)

Δv=−η∇C  Δv=−η∇C

            来定义小球的“运动定律”。也就是说，我们将用公式(10)

Δv=−η∇C  Δv=−η∇C

            来计算 Δv Δv 的值，然后将小球的位置 v v 移动一小步：             \begin{eqnarray} v \rightarrow v' = v -\eta \nabla C. \tag{11}\end{eqnarray}  然后，我们使用这一规则再将小球移动一小步。如果我们不断这样做，C C 将不断减小，符合期望的话，C C 将一直减小到全局最小值。

 

总之，梯度下降算法（gradient descent algorithm）是通过不断计算梯度∇C ∇C，然后向着梯度相反的方向小步移动的方式让小球不断顺着坡面滑向谷底。这个过程可以形象地用下图表示：

 

注意：采用这一规则，梯度下降算法并没有模拟真实的物理运动。在现实世界，小球具有动量，而动量可能让小球偏离最陡的下降走向，甚至可以让其暂时向着山顶的方向逆向运动。只有考虑了摩擦力的作用，才能确保小球是最终落在谷底的。但这里，我们选择Δv的规则却是说“立马给我往下滚”，而这个规则仍然是寻找最小值的一个好方法！

为了让“梯度下降法”能够正确发挥作用，我们必须选择一个足够小的“学习率” η η 以确保方程 (9)

ΔC≈∇C⋅Δv  ΔC≈∇C⋅Δv

            是一个好的近似。如果我们不这样做，最终可能会导致 ΔC>0 ΔC>0，这当然不是我们想要的。（机器学习社区tensorfly.cn原创）与此同时，我们也不希望 η η 太小，因为η太小的话每一步的 Δv Δv 就会非常小, 从而导致梯度下降算法的效率非常低。在实际运用过程中，η 经常是变化的从而确保一方面方程 (9)

ΔC≈∇C⋅Δv  ΔC≈∇C⋅Δv

            是好的近似，另一方面算法也不会太慢。后面我们将会明白具体该怎么做。

 

前面我们已经解释了当函数 C C 仅仅依赖两个变量时的梯度下降算法。但其实，当 C C 依赖更多变量的时候，前面所有的论述依然成立。具体来说，假设函数 C C 依赖m m个变量， v 1 ,…,v m  v1,…,vm，那么由微小改变 Δv=(Δv 1 ,…,Δv m ) T  Δv=(Δv1,…,Δvm)T 引起的 C C 的变化ΔC ΔC是:             \begin{eqnarray} \Delta C \approx \nabla C \cdot \Delta v, \tag{12}\end{eqnarray} 这里梯度矢量 ∇C ∇C 定义为             \begin{eqnarray} \nabla C \equiv \left(\frac{\partial C}{\partial v_1}, \ldots, \frac{\partial C}{\partial v_m}\right)^T. \tag{13}\end{eqnarray} 类似于两个自变量的情形，我们可以选择             \begin{eqnarray} \Delta v = -\eta \nabla C, \tag{14}\end{eqnarray} 那么就可以确保由公式 (12)

ΔC≈∇C⋅Δv  ΔC≈∇C⋅Δv

            得到的 ΔC ΔC 是负的。这给了我们一种沿着梯度找到最小值的方法，即使 C C 依赖于很多变量。即通过不断重复地使用以下更新规则，             \begin{eqnarray} v \rightarrow v' = v-\eta \nabla C. \tag{15}\end{eqnarray} 你可以把这种更新规则看作是“梯度下降算法”的定义。它给了我们一种不断改变 v v 的位置从而找到函数 C C 最小值的方法。这一规则并不总是有效——有些情况可能会导致出错，阻止梯度下降算法找到 C C 的全局最小值。在后面的章节我们会回过头来讨论这种可能性。不过，在实际应用中，梯度下降算法常常非常有效，并且在神经网络中，我们发现它也是一种最小化代价函数（cost function）的强有力方法，因此也有助于神经网络的学习。

 

的确，从某种意义上说梯度下降其实是寻找最小值的最佳策略。假设我们正试图通过移动一小步 Δv Δv 来让函数 C C 尽可能地减小。这等价于要要最小化 ΔC≈∇C⋅Δv ΔC≈∇C⋅Δv。我们将限定移动步幅的大小，即令 ∥Δv∥=ϵ ‖Δv‖=ϵ 其中 ϵ>0 ϵ>0 是一个固定的小量. 换句话说，我们想移动步长限定的一小步，并试图找到一个移动方向能够让C尽可能减小。可以证明这里最小化∇C⋅Δv ∇C⋅Δv的Δv Δv选择是  Δv=−η∇C Δv=−η∇C, 这里 η=ϵ/∥∇C∥ η=ϵ/‖∇C‖ 是由步长约束 ∥Δv∥=ϵ ‖Δv‖=ϵ 所要求的。因此梯度下降可以被认为是一种沿着 C C 局域下降最快的方向一步一步向前走，从而找到最小值的方法。

练习

• 证明上面最后一段的断言。提示：如果你还不熟悉柯西-施瓦茨不等式，你最好学习一下，这会对你很有帮助。

   

   

• 我们阐述当C C有两个变量时的梯度下降，也阐述了超过两个变量的梯度下降。当C C只有一个变量时候，会发生什么呢？你能提供在一个维度上梯度下降的几何解释吗？

 

 

人们调研过很多从梯度下降变种而来的算法，包括精确模仿小球在真实物理世界运动的方法。这些模仿小球真实物理运动的方法有一些优点，但是也有一个显著的缺点：需要计算 C C 的二阶偏导数，而那样的话，计算成本会很高。为了看清楚为什么计算成本会很高，假设我们要计算所有的二阶偏导数 ∂ 2 C/∂v j ∂v k  ∂2C/∂vj∂vk。 如果这里需要计算的 v j  vj 变量有一百万个，我们就要计算大概万亿（百万的平方）量级的二阶偏导数。*             *实际上，稍微估准一点的话，需要计算的偏导数大概有万亿的一半个，因为∂2C/∂vj∂vk=∂2C/∂vk∂vj。不管怎样，你依然很容易看得出计算成本会非常高。! 这个计算成本非常高。 正因为上面所说的，人们搞出不少小技巧来避免计算成本过高的问题，同时，寻找梯度下降的替代算法也是非常活跃的研究领域。不过，本书将始终把梯度下降（及其变种）算法作为我们训练神经网络的主要方法。

我们怎样把梯度下降应用于神经网络的学习过程呢？具体思路是用梯度下降来寻找权重（weights）w k  wk 和 偏移（bias） b l  bl ，从而最小化代价函数(6)

C(w,b)≡12n ∑ x ∥y(x)−a∥ 2   C(w,b)≡12n∑x‖y(x)−a‖2

            。为了看得更清楚，我们将梯度下降更新规则中的变量v j  vj用权重和偏移替换，进行重新表述。换句话说，我们现在的“位置”有 w k  wk and b l  bl 这些分量, 而梯度矢量 ∇C ∇C 也具有相应的分量 ∂C/∂w k  ∂C/∂wk 和 ∂C/∂b l  ∂C/∂bl。将梯度下降规则用这些分量的形式写出来，我们有                          \begin{eqnarray} w_k & \rightarrow & w_k' = w_k-\eta \frac{\partial C}{\partial w_k} \tag{16}\\ b_l & \rightarrow & b_l' = b_l-\eta \frac{\partial C}{\partial b_l}. \tag{17}\end{eqnarray} 通过不断重复应用这一更新规则，我们可以“从山上滚下来”，符合预期的话，我们将找到代价函数的最小值。换句话说，这个规则可以用于神经网络的学习过程。

 

在运用梯度下降规则的时候会碰到许多挑战难题。在后面的章节我们会仔细研究这些困难。但这里我只想提及其中的一个难题。为了更好地理解是什么难题，让我们回过头来看一下公式 (6)

C(w,b)≡12n ∑ x ∥y(x)−a∥ 2   C(w,b)≡12n∑x‖y(x)−a‖2

            定义的二次型代价函数。注意到这个代价函数具有形式C=1n ∑ x C x  C=1n∑xCx, 即，每一个训练样例误差 C x ≡∥y(x)−a∥ 2 2  Cx≡‖y(x)−a‖22 的平均。实际上，为了计算梯度 ∇C ∇C ，我们需要对每个训练输入（trainning input）分别计算其梯度 ∇C x  ∇Cx，然后再对它们求平均。不幸的是，如果训练输入的样本数量非常大，那么这样会消耗很多时间，因此导致神经网络的学习过程非常慢。

 

有一个可用于加速学习过程的办法被称作 “随机梯度下降”（stochastic gradient descent）。 这个办法是通过随机选择训练输入的少量样本，并只计算这些样本的∇C x  ∇Cx的平均值来估算梯度 nablaC。通过计算这些少量样本的平均值，我们可以很快估算出梯度∇C ∇C的真实值，从而加速梯度下降过程，即加速神经网络的学习过程。

具体来说， 首先“随机梯度下降” 要随机挑出 m m（一个较小的数目）个训练输入。我们将这些随机的训练输入标记为 X 1 ,X 2 ...X m  X1,X2...Xm, 并将它们称为 一个 “小组”（mini-batch）。假设样本数m m足够大，我们预计这个随机小组 ∇C X j   ∇CXj 的平均值应该和所有 ∇C x  ∇Cx 的平均值大致相等，即 \begin{eqnarray} \frac{\sum_{j=1}^m \nabla C_{X_{j}}}{m} \approx \frac{\sum_x \nabla C_x}{n} = \nabla C, \tag{18}\end{eqnarray} 这里第二个求和符号表示对整个训练数据集的求和。交换等号两边的顺序，我们有 \begin{eqnarray} \nabla C \approx \frac{1}{m} \sum_{j=1}^m \nabla C_{X_{j}}, \tag{19}\end{eqnarray} 这个公式明确了我们可以通过仅仅计算随机选择的“小组”梯度来估算整体的梯度值。

为了将其和神经网络的学习过程直接联系起来，假设我们用 w k  wk 和 b l  bl 标记神经网络中的权重（weights）和 偏移（biases），那么随机梯度下降的工作方式为：随机挑出一“小组”训练输入，并用如下方式来训练              \begin{eqnarray} w_k & \rightarrow & w_k' = w_k-\frac{\eta}{m} \sum_j \frac{\partial C_{X_j}}{\partial w_k} \tag{20}\\ b_l & \rightarrow & b_l' = b_l-\frac{\eta}{m} \sum_j \frac{\partial C_{X_j}}{\partial b_l}, \tag{21}\end{eqnarray} 这里的求和是对当前小组里的所有训练样本 X j  Xj 进行的。然后我们再随机挑出另一小组进行训练。如此反复下去，直到我们用尽了所有的训练输入。这个过程被称为完成了一“代”（epoch）训练。到那个时候，我们就可以重新开始另一代训练。

有的时候，我们需要注意：人们在标定代价函数(cost function)和对权重、偏移进行“组”(mini-batch)更新时所采用的惯例可能有所差异。公式 (6)

C(w,b)≡12n ∑ x ∥y(x)−a∥ 2   C(w,b)≡12n∑x‖y(x)−a‖2

            中，我们用了一个 1n  1n 的因子对整体代价函数进行了标定。有时候，人们会忽略这个  1n  1n 因子，即对所有训练样例“求和”而不是“求平均”。这一点在训练样例总数不能提前确定的时候非常有用，比如当更多的训练数据在不断实时产生的时候就会发生这种情况。同样类似，公式(20)

w k  → w ′ k =w k −ηm ∑ j ∂C X j  ∂w k    wk→wk′=wk−ηm∑j∂CXj∂wk

            和(21)

b l  → b ′ l =b l −ηm ∑ j ∂C X j  ∂b l    bl→bl′=bl−ηm∑j∂CXj∂bl

            中的“组”更新规则，有时候也会忽略求和前面的1m  1m因子。从概念上说，两者几乎没什么不同，因为这等价于重新标定了学习率 η η 而已。不过当我们在仔细对比不同的研究工作时，需要对此留心一点。

 

我们可以将随机梯度下降看做是某种类似于民意调查的过程：将梯度下降应用于一“小组”样例要比应用于全部样例要容易得多，就如同采样民意调查要比全民公投要容易得多。例如，在MNIST样例中，整个训练集的样本数 n=60000 n=60000 个，而比如说我们选定的“小组”样本数为m=10 m=10个。这意味着我们在估算梯度的时候会快6000 6000倍！当然，估算结果不一定精确——因为有统计涨落的误差——不过，我们不需要它精确：因为我们关心的仅仅是这个过程是不是整体向着C C减小的方向在走，而不是要严格计算出梯度值。实际上，随机梯度下降在训练神经网络的过程中是非常常见和有效的手段，也是本书将要演绎的许多训练技巧的基础。