奥门美高梅手机版神经网络的介绍

读书材料:

知乎云课堂:神经网络和纵深学习(吴恩达)

博客园专栏:无痛的机械学习第一季

奥门美高梅手机版,神经元与神经网络

说到神经网络,大家第一个概念就是在高中生物学习到的神经细胞(neuro)的定义,神经元从树突接收到刺激信号,经过神经元的传输,再经过轴突将信号传递下去,大家将神经元的数据模型通过图片的花样表现出来:

奥门美高梅手机版 1

神经元的数据模型

类比于上述的神经细胞数据模型,下面我们付出一个最焦点的神经网络(SNN):

奥门美高梅手机版 2

SNN

在吴恩达的科目中,神经网络分为浅层神经网络深层神经网络

一个神经元被称呼logistic回归

隐层(hidden layer)较少的被誉为浅层,而隐层较多的被喻为深层。

基本上是层次越深越好,然则带来的测算本金都会增多,有时候不知情个该用多少的时候,就从logistic回归先河,一层一层增添。

其它,神经网络还有卷积神经网络(CNN)与循环神经网络(RNN)。

奥门美高梅手机版 3

CNN

刚刚所说的只是大约上对神经网络的牵线,现在我们来研商一下神经网络具体模型。

神经网络的简便模型

上文说到一个神经元就是一个logistic回归,这大家先来介绍一下logistic回归:

logistic回归是一种广义上的线性回归,因而与多重线性回归分析有好多相同之处,它们的模子格局基本上相同,都拥有z=w‘x+b。其中x是我们提交的数量,它可以是一个数,也足以是一个n维向量,w与b是大家的待求量。而logistic回归中经过函数L将z对应一个隐状态p,p
=L(z),然后遵照p
与1-p的轻重缓急决定因变量的值。即使L是logistic函数,就是logistic回归。

其间logistic回归的因变量可以是二分拣的,也足以是多分类的,但是二分拣的尤为常用,也愈来愈便于解释。

在打听了logistics回归之后大家来连续探究神经网络,我们利用的数码是二分类的,所以我们得以把它描述为(x,y),其中x是一个n维向量,y是0或1。

奥门美高梅手机版 4

从此将来大家就要对输入信号进行拍卖,信号处理函数分为两局部,也就是logistic回归的处理办法

1.权重加权                                                              
                                                                  

对各样输入信号x1, x2, x3,乘以对应的权重分别为w1, w2,
w3,然后加上中间强度 b

奥门美高梅手机版 5

2.激活函数

z可以取到R中任意值,不便利处理,所以我们需要开展处理多少,这即将用到激活函数
a=σ(z) 。一般来讲,大家平常采用sigmoid函数:

奥门美高梅手机版 6

sigmoid函数的表明式

奥门美高梅手机版 7

sigmoid函数图像

事先我们所说的是对单个神经元举行处理,一个神经元不能只处理一组数据,而且神经网络不能只含有一个神经元,所以我们扩展大家的样本数量:

奥门美高梅手机版 8

里面每个xn都是n维的向量,y属于{0,1}。

对第一层神经元而言,第一步统计z:

奥门美高梅手机版 9

简化一下,就是

奥门美高梅手机版 10

第二步总计a:

奥门美高梅手机版 11

虚幻一下,第 l-1 层输出到第 l 层的公式就是:

奥门美高梅手机版 12

奥门美高梅手机版 13

注意这里,用 a[l-1]取代了 x,因为,实际上而言a[0]就是输入层x。

上述就是着力神经网络的简便模型,之后大家会介绍一下神经网络的教练。

神经网络的磨炼

对于神经网络来说,大家无法在一初步就提交神经网络的最优解,所以我们需要充裕的样本来锻练它。

粗略总结一下,对于单个神经元来说,其logistic回归为:

奥门美高梅手机版 14

奥门美高梅手机版 15

里头ŷ为我们统计的输出标签,实际上它会与事实上值y有所偏差,所以我们需要引入函数来总计错误的大小:

LOSS FUNCTION(损失函数):

相似的话,大家高数课上讲的可比ŷ与y的函数是:

奥门美高梅手机版 16

不过上述函数的短处为它会交到很多局部数据的最优解,在大家绘图是它会冒出仿佛波浪形状的图形,在整体上会有很多点是非凸的,无法用梯度下降法找到最优解,于是我们引入如下函数:

奥门美高梅手机版 17

在这多少个公式中,当ŷ越接近于y时,这多少个函数的值就越小,也就表达我们的神经网络越好。我们大概地代入六个极点值0和1来证实这多少个函数的没错。

1.万一 y=1,则 L(ŷ, y)=-log(ŷ),唯有当ŷ趋近于最大值1时,-log(ŷ)
才达到最小

2.假使 y=0,则 L(ŷ, y)=-log(1-ŷ),只有当 ŷ 趋近于细微值0时,-log(1-ŷ)
才达到最小

损失函数只是本着单个样本数量的,当我们面对m个样本时,大家将要引入资金函数。

COST FUNCTION(成本函数):

很粗略,对两个损失函数的解总括其数学期望(求平均值)

奥门美高梅手机版 18

举行函数得:

奥门美高梅手机版 19

很引人注目,成本函数越小,申明大家的教练效益越好,这我们怎么样减小资本函数呢,之后我们会介绍梯度下降法。

梯度下降法

大家都了然,对于一个多元函数来说,梯度即是某一点最大的倾向导数,沿梯度方向函数有最大的变化率(正向扩充,逆向减弱)。(∂u/∂L)M0=n∗l=|n|cosθ当θ=0时,该方向为函数的梯度方向,梯度表示为:

奥门美高梅手机版 20

从而在大家求出成本函数值后,大家要对w举行更正,大家对损失函数L(ŷ,y)取一个断面,假如我们在存活的数据在A点

奥门美高梅手机版 21

奥门美高梅手机版 22

其间,无论是在最小值的左右,每举行两次迭代都会是w点向最小值靠近,只要锻练样本丰富多,我们就会找出一个资本函数在预期范围内的神经网络。

相关文章