在介绍神经网络之前,我们先来看看神经网络的一个基本组成单元——感知器(Per-ceptron)。感知器是在1950年由科学家Frank Rosenblatt提出的一种做二元分类的算法。然后现在的感知器和他提出的感知器有细微的区别。
先来了解一下早期的感知器:
假设我们现在有三个变量(他们是特征值)x1,x2,x3 ∈ 0,1
输入到感知器中,我们希望感知器的输出也是一个二进制的数来代表分类(即0 代表类别 1,1代表类别2)。Rosenblatt 提出了一个解决方案,就是为每个输入变量引入一个权重,并将他们相乘,来表达每个变量的重要程度,也就是说权重分别为w1,w2,w3,然后我们对乘积求和 z=w1x1 + w2x2 + w3x3 。 最后我们设定一个阈值(Threshold),如果z大于这个阈值,感知器就输出1,反之则输出0。
用数学语言来表达就是:
通过这样简单的线性相加和阈值对比,我们就实现了简单的二元分类。
感知器是一个最基本的分类模型,他通过把加权后的特征值相加来做出相应的判断。打个比方,小明打算周六到附近的足球场去踢球,但有几个因素会影响小明是否去踢球:
1. 周六天气是否不错
2. 小明的同学会不会跟他一起去
3. 球场收费是否昂贵
我们可以用刚才的三个变量来代表这三个因素x1,x2,x3
当x1=1时,周六天气极好。
当x2=0时,代表小明同学不会和小明前往。
然后,我们假设小明认为在这三个因素中天气的影响最为巨大,其次他的学生会不会一起,小明是个土豪,他并不在乎球场费用。
我们用感知器来模拟这个过程。假设w1=5、w2=2、w3=1,阈值设为5。 由此可以看出天气对小明来说影响很大,也就是说无论球场费用多高,是否有同学一起,只要天气好,感知器就会输出1,代表小明回去踢球。
未完待续中。。。。。