前提 这系列文章不是为了去研究那些数学公式怎么推导，而是为了能将机器学习的思想快速用代码实现。最主要是梳理一下自己的想法。 感知机 感知机，就是接受每个感知元（神经元）传输过来的数据，当数据到达某个阀值的时候就会产生对应的行为如下图，对应每个感知元有一个对应的权重，当数据到达阀值u的时候就会执行对应 ...
分类：
其他好文 时间：
2016-12-03 20:34:33
阅读次数：
337
网络的输出神经元之间相互竞争，同一时刻只有一个神经元获胜。 二、学习规则 竞争神经网络的学习规则是由内星规则发展而来的Kohonen学习规则。 4.SOM学习算法 ...
分类：
其他好文 时间：
2016-11-29 19:04:58
阅读次数：
289
Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使?C/?w和?C/?b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 ...
分类：
其他好文 时间：
2016-11-28 00:46:41
阅读次数：
550
在之前的随笔《非对称SVD电影推荐系统》中应用SVD，得到还不错的结果。 此次尝试将BP神经网络应用于预测用户评分，由于同类用户不同电影评分差异巨大，神经网络输出神经元不易设置。 仅取movie id=0 的用户作为测试数据(350 条记录），这样只需要5个输出神经元。考虑到movie id 共有三 ...
分类：
其他好文 时间：
2016-11-26 23:38:27
阅读次数：
225
单个神经元 神经网络是由多个“神经元”组成，单个神经元如下图所示： 这其实就是一个单层感知机，输入是由ξ1 ,ξ2 ,ξ3和Θ组成的向量。其中Θ为偏置(bias),σ为激活函数(transfer function)，本文采用的是sigmoid函数，功能与阶梯函数(step function)相似控制 ...
分类：
其他好文 时间：
2016-11-25 23:21:00
阅读次数：
367
原文 ： http://www.cnblogs.com/neopenx/p/4453161.html#undefined 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tan ...
分类：
其他好文 时间：
2016-11-24 14:34:49
阅读次数：
319
单层感知器属于单层前向网络，即除输入层和输出层之外，只拥有一层神经元节点。 特点：输入数据从输入层经过隐藏层向输出层逐层传播，相邻两层的神经元之间相互连接，同一层的神经元之间没有连接。 感知器（perception）是由美国学者F.Rosenblatt提出的。与最早提出的MP模型不同，神经元突触权值 ...
分类：
其他好文 时间：
2016-11-15 14:04:09
阅读次数：
202
w权值的初始化，之前最好的方法是 也就是输入神经元和输出神经元中随机一个数，然后除以输入神经元的个数开根号 因为全连接层波动较大，所以加在FC后面 ...
分类：
其他好文 时间：
2016-10-30 11:20:44
阅读次数：
152
卷积神经网络（CNN）实现背景卷积神经网络广泛用于图像检测，它的实现原理与传统神经网络基本上是一样的，因此将普遍意义的神经网络和卷积神经网络的实现合成一篇。神经网络实现思路“扔掉神经元”尽管所有教程在...
分类：
其他好文 时间：
2016-10-28 10:07:43
阅读次数：
321
LSTM隐层神经元结构：
//让程序自己学会是否需要进位，从而学会加法#include "iostream"
#include "math.h"
#include "stdlib.h...
分类：
编程语言 时间：
2016-10-15 20:03:16
阅读次数：
365
