深度学习

您所在的位置:网站首页 pos机图 深度学习

深度学习

2023-08-26 20:26| 来源: 网络整理| 查看: 265

感知机 一,什么是感知机二,用感知机搭建简单逻辑电路2.1 与门2.2 与非门,或门 三,感知机的实现3.1 简单感知机的实现3.2 导入权重和偏置3.3 使用权重和偏置的实现 四,感知机的局限性4.1 异或门4.2 线性和非线性 五,多层感知机

一,什么是感知机

感知机是由美国学者FrankRosenblatt在1957年提出来的。感知机是作为神经网络(深度学习)的起源的算法。因此,学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。 感知机接收多个输入信号,输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线,向前方输送电子一样,感知机的信号也会形成流,向前方输送信息。但是,和实际的电流不同的是,感知机的信号只有“流/不流”(1/0)两种取值。这里我们认为0对应“不传递信号”, 1对应“传递信号”。 下图1就是一个接收两个输入信号的感知机的例子。 在这里插入图片描述

图1 两个输入的感知机

x1、 x2是输入信号,y是输出信号, w1、 w2是权重(w是weight的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重(w1x1、 w2x2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值,用符号θ表示。 感知机的运行原理只有这些!把上述内容用数学式来表示,就是下面这个式子(1)。 在这里插入图片描述感知机的多个输入信号都有各自固有的权重,这些权重发挥着控制各个信号的重要性的作用。也就是说,权重越大,对应该权重的信号的重要性就越高。

二,用感知机搭建简单逻辑电路 2.1 与门

知道了上面那些概念,那如何用感知机来解决简单的问题呢?这里首先以逻辑电路为题材来思考一下与门(AND gate)。与门是有两个输入和一个输出的门电路。下图这种输入信号和输出信号的对应表称为“真值表”。如图所示,与门仅在两个输入均为1时输出1,其他时候则输出0。 在这里插入图片描述

图2 与门真值表

下面考虑用感知机来表示这个与门。需要做的就是确定能满足图中的真值表的w1、 w2、 θ的值。那么,设定什么样的值才能制作出满足图中条件的感知机呢?实际上,满足上图条件的参数选择方法有无数多个。比如,当(w1, w2, θ) = (0.5, 0.5, 0.7) 时,可以满足图中条件。此外,当 (w1, w2, θ)为(0.5, 0.5, 0.8)或者(1.0, 1.0, 1.0)时,同样也满足与门的条件。设定这样的参数后,仅当x1和x2同时为1时,信号的加权总和才会超过给定的阈值θ。

2.2 与非门,或门

接着,我们再来考虑一下与非门(NAND gate)。NAND是Not AND的意思,与非门就是颠倒了与门的输出。用真值表表示的话,如下图所示,仅当x1和x2同时为1时输出0,其他时候则输出1。? 在这里插入图片描述

图3 与非门真值表

要表示与非门,可以用(w1, w2, θ) = (−0.5, −0.5, −0.7)这样的组合(其他的组合也是无限存在的)。实际上,只要把实现与门的参数值的符号取反,就可以实现与非门。接下来咱们再来看一下下面这张图所示的或门。或门是“只要有一个输入信号是1,输出就为1”的逻辑电路。 在这里插入图片描述

图4 或门真值表

注意:这里决定感知机参数的并不是计算机,而是我们人。我们看着真值表这种“训练数据”,人工考虑(想到)了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。 学习是确定合适的参数的过程,而人要做的是思考感知机的构造(模型),并把训练数据交给计算机。 如上所示,我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是:与门、与非门、或门的感知机构造是一样的。实际上, 3个门电路只有参数的值(权重和阈值)不同。也就是说,相同构造的感知机,只需通过适当地调整参数的值,就可以像“变色龙演员”表演不同的角色一样,变身为与门、与非门、或门。

三,感知机的实现 3.1 简单感知机的实现

我们用Python来实现刚才的逻辑电路。这里,先定义一个接收参数x1和x2的AND函数。

def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.7 tmp = x1*w1 + x2*w2 if tmp theta: return 1

在函数内初始化参数w1、 w2、 theta,当输入的加权总和超过阈值时返回1,否则返回0。我们来确认一下输出结果是否如图2 与门真值表所示。

AND(0, 0) # 输出0 AND(1, 0) # 输出0 AND(0, 1) # 输出0 AND(1, 1) # 输出1

和我们预想的输出一样,这样我们就实现了与门。按照同样的步骤,也可以实现与非门和或门。

3.2 导入权重和偏置

下面让我们来对上面的简单感知机的实现稍作修改。刚才与门的实现比较直接、容易理解,但是考虑到以后的事情,我们将其修改为另外一种实现形式。在此之前,首先把式子(1)的θ换成−b,于是就可以用式(2)来表示感知机的行为了。 在这里插入图片描述 式(1)和式(2)虽然有一个符号不同,但表达的内容是完全相同的。此处, b称为偏置, w1和w2称为权重。如式(2)所示,感知机会计算输入信号和权重的乘积,然后加上偏置,如果这个值大于0则输出1,否则输出0。下面,我们使用NumPy,按式(2)的方式实现感知机。在这个过程中,我们用Python的解释器逐一确认结果。

>>> import numpy as np >>> x = np.array([0, 1]) # 输入 >>> w = np.array([0.5, 0.5]) # 权重 >>> b = -0.7 # 偏置 >>> w*x array([ 0. , 0.5]) >>> np.sum(w*x) 0.5 >>> np.sum(w*x) + b -0.19999999999999996 # 大约为-0.2(由浮点小数造成的运算误差)

如上例所示,在NumPy数组的乘法运算中,当两个数组的元素个数相同时,各个元素分别相乘,因此w*x的结果就是它们的各个元素分别相乘([0, 1] [0.5, 0.5] => [0, 0.5])。之后, np.sum(wx)再计算相乘后的各个元素的总和。最后再把偏置加到这个加权总和上,就完成了式(2)的计算。

3.3 使用权重和偏置的实现

使用权重和偏置,可以像下面这样实现与门。

def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(w*x) + b if tmp


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3