神经元模型

姓名:刘强
【嵌牛导读】
神经元,是神经互联网中最基本的元素,本文介绍了神经元的数学模型,并且附上了该模型的python达成
【嵌牛鼻子】
神经互连网 神经元模型 Sigmoid函数
【嵌牛提问】
神经互连网是什么样三次事?
【嵌牛正文】
国庆长假,眼望着身边的校友们都在繁忙探索台中的名胜古迹,然则我的心里毫无波动,毕竟学习使我快乐(手动滑稽)。

奥门美高梅手机版 1

近期,人工智能技术先河风靡,尤其是谷歌(Google)的阿尔法狗克制李世石之后,神经网络更是火的分外。作为新时代的五好青年,自然要跟上时代时尚。此篇作为《神经互联网从入门到削发》体系笔记的率先篇,就算简书不可能支持LaTeX公式书写让我略感蛋疼,可是的确给了本人这几个患病多年的懒癌伤者一个之际,希望得以锲而不舍做到那个连串,从而养成写博客的好习惯。

神经元模型

先是看一下海洋生物的神经细胞

奥门美高梅手机版 2

生物神经元

可以看来,生物的神经细胞首要不外乎3个部分:细胞体、树突、轴突。神经元的树突接收来自其余神经元的音信,然后将经自己处理后的音讯经过树突传递给其余神经元。
看似地,建立神经元的数学模型:

奥门美高梅手机版 3

神经元模型

上图神经元模型中,x1,x2,…,xn是神经元的输入,代表来自其他神经元的振奋,那里的输出y称为激活函数,有的书上称之为阈值函数。树突上差距的激发有着分化的权重,那一个刺激在神经元上加权叠加,当总的刺激值当先阈值theta(简书的马克down竟然不扶助LaTeX公式书写,差评)
,则输出y=1;假如未领先阈值,则输出y=0,如下图

奥门美高梅手机版 4

激活函数

不难想到,理想的激活函数f应该是阶跃函数,它亦可把种种款式的输入映射成0或1,用“1”来表示神经元欢跃,用“0”来代表神经元抑制。不过阶跃函数有无数不佳的特色,比如不总是,那样就无奈对它求导(前边再解释为啥要对它求导),所以实际常用的激活函数是Sigmoid函数。

奥门美高梅手机版 5

阈值函数

Sigmoid函数

Sigmoid函数是一个在生物学中广泛的S型的函数,也称为S型生长曲线。我隐隐还记得首先次看到那几个函数如故在高中生物课本上,是说在一个栽培皿上的细菌数量随时间的浮动是一个S型生长曲线,于是特意百度了瞬间,百度百科里对它的分解是如此的:
当种群在个别资源里生长,其发育符合logistic微分方程,随时间变化的发育曲线就呈S形状。在数学上,它是logistic微分方程的解析解。
可以窥见,神经互联网的建模借鉴了大气生物学的有关概念,不知那算不算是某种朴素的唯物辩证法思想。

Sigmoid函数由下列公式定义

奥门美高梅手机版 6

它的图像是如此:

奥门美高梅手机版 7

Sigmoid函数

不难见到,当横坐标x趋于正无穷时,Sigmoid函数值为1,当x趋于负无穷时,Sigmoid函数值为0。值得一提的是,除了能把输入映射到0~1之间,sigmoid函数还有一个很好的特征——它的导数可以用自己表示:

奥门美高梅手机版 8

如此那般我们就可见化求导运算为四则运算,从而大大提升程序质量,毕竟总括机擅长的是加减乘除,不擅长求导。

代码完毕

本条神经元模型的代码达成卓殊简单:

# 神经元模型
import numpy as np
# sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))

def neural(x, w, theta):
    z = np.dot(w, x)-theta
    return sigmoid(z)

唯一要求小心的是我们应尽量避免使用显式for循环,例如计算加权累加的时候,诸如

def sum(x, w, n):
    sum = 0
    for i in range(n):
        sum += x[i]*w[i]
    return sum

如此的写法即使可以做到职务,不过它的年月复杂度是O(n),因为那里用了一个显式的for循环。更好的做法是把x,w看成向量,使用numpy的内置函数dot统计向量的內积,那样总结会鲜明拉长运算速度,那是因为numpy会调用CPU或GPU中的并行化指令,有时也叫做SIMD(single
instruction multiple
data,单指令流多数据流)指令,那样可以充足发挥CPU或GPU的质量。向量化在神经互连网编程中是一个很首要的操作,因为神经网络通过磨练不断优化自己,陶冶用的数额集越大,学习的意义越好,那么,程序的属性就显示尤为关键。

后话

奥门美高梅手机版,强烈,那么些神经元模型描述的是一个二分分类器,它可以用于应对一些Yes or
No的题材,比如,那几个国庆到底要不要出去玩?

奥门美高梅手机版 9

下一篇,我将介绍一个浅层的神经互联网,并将其用来logistic回归,敬请期待。

奥门美高梅手机版 10

相关文章