深度学习出现之前，机器学习方面的开发者通常需要仔细地设计特征、设计算法，且他们在理论上常能够得知这样设计的实际表现如何； 深度学习出现后，开发者常先尝试实验，有时候实验结果常与直觉相矛盾，实验后再找出出现这个结果的原因进行分析。 0 绪论 给定一个网络结构(层数以及每层的神经元个数)，根据参数取不同 ...
分类：
其他好文 时间：
2018-04-30 22:14:31
阅读次数：
710
这个算法主要是解决了每一层中的正则化问题 其实我觉得这东西很鸡肋，因为我输入已经归一化了 然后初始的w,b也很小 每一层的输出肯定也很小 使用Batch Norm反而会加大训练时间，弱化神经网络中参数的作用 z(i)是这一层神经网络中第i个神经元，经过激活函数的输出 为了是下一层的输入比较相近，我们 ...
分类：
其他好文 时间：
2018-04-27 02:24:19
阅读次数：
152
# coding=utf8 import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom PIL import Image def imageprepare(file_name): """ ...
分类：
其他好文 时间：
2018-04-22 17:19:39
阅读次数：
276
观看地址：http://open.163.com/movie/2015/12/V/N/MB6IJ08AU_MB729EVVN.html 海马体能生成新的神经元，每天约700个，近50岁时，大脑的神经元结构来自成年时期的生长 抗癌药物会组织新的神经元生成，这也是癌症治好后有抑郁倾向的原因之一 如果想要 ...
分类：
其他好文 时间：
2018-04-22 13:07:16
阅读次数：
185
朴素rcnn - 梯度消失严重LSTM长短时记忆模型，有效捕捉长时记忆包含四个神经元组：一个记忆神经元三个控制门神经元：输入、忘记、输出 注意：输入调制门、输出调制门 3个输入：前一时刻的隐藏状态h、前一时刻的记忆状态c、当前时刻的输入x2个输出：当前时刻的隐含状态h，当前时刻的记忆状态ci、f、o ...
分类：
其他好文 时间：
2018-04-17 15:11:09
阅读次数：
143
八、神经网络：表述 8.1 非线性假设 为什么需要提出神经网络，当我们在用逻辑回归或者线性回归处理分类问题时，当特征的数量较少时我们可以很好的处理，但是当特征的数量很大时，比如特征的数量为n，而很多时候我们的这些特征可能还会组合在一起形成新的特征，例如每个都两两组合就会有n2/2，而如果考虑多个组合 ...
分类：
其他好文 时间：
2018-04-14 16:19:14
阅读次数：
254
信息 人存在的形式就是信息，各路感官从外界接受信息，大脑建模处理信息，肌肉执行我们发出的指令信息。 AI 这是一个综合领域。我认为要想真正有所突破，就必须要在脑科学方面有所突破。最终的目的就是创造新的AI。 脑科学 这还是一个综合学科，脑，不仅是从神经元层次解析脑；还有心理学、语言学等。我笃信人的大 ...
分类：
其他好文 时间：
2018-04-07 17:32:00
阅读次数：
130
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） Part 0：传统激活函数、脑神经元激活频率研究、稀疏激活性 0.1 一 ...
分类：
其他好文 时间：
2018-04-06 15:20:14
阅读次数：
301
最近一直在看仙守博友所记录的笔记 Hinton的CSC321课程（完结，待文字润色）： 1、lecture1-NN的简介 2、lecture2-NN结构的主要类型的概述和感知机 3、lecture3-线性神经元和算法 4、lecture4-神经网络在语言上的应用 5、lecture5-对象识别与卷积 ...
分类：
其他好文 时间：
2018-04-04 18:06:15
阅读次数：
206
一、疑问 二、常用激活函数 1. Sigmoid ? sigmoid将输入实数值“挤压”到0到1范围内。更具体地说，很大的负数变成0，很大的正数变成1。它对于神经元的激活频率有良好的解释：从完全不激活到在求和后的最大频率处的完全饱和（ saturated ）的激活。然而现在sigmoid函数实际很少 ...
分类：
其他好文 时间：
2018-04-03 12:56:56
阅读次数：
185
