本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题...
分类：
其他好文 时间：
2014-06-18 00:55:39
阅读次数：
433
人工智能，简单来说，就是让机器人可以代替人！！这可以吗？机器始终是机器，但如果机器有了神经网络，那机器人就是人！！！霍金说，未来的人工智能可能毁灭人类！...
分类：
其他好文 时间：
2014-06-17 23:42:37
阅读次数：
383
情感识别，主要就是正和负的识别，偶尔也有中性。类别比较少，所以相对于广义的文本分类来说，看起来要简单很多，特别是很多词汇都有很强的倾向性。当然这是针对某一特定的领域。一般的话，情感识别主要用于商品评论，因为不同的商品会有不同的术语之类的专门的某一词汇，所以如果将某一领域的数据集上学到的模型应用在另一个领域的话，可能效果会不很理想。
Stephan Raaijmakers等的这篇文章[1]提出的是...
分类：
其他好文 时间：
2014-06-15 14:15:35
阅读次数：
183
2.1 BP神经网络基本原理 BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每一个样本包含输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节...
分类：
其他好文 时间：
2014-06-14 16:25:56
阅读次数：
388
1. 概述
前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢？很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。
第一，概率分布函数。由于网络节点的取值状态是随机的，从贝叶斯网的观点来看，要描述整个网络，需要用三种概率分布来描述系统。...
分类：
其他好文 时间：
2014-06-13 15:03:25
阅读次数：
320
1. 概述
回想一下BP神经网络。BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是全连接的。这样设想一下，如果BP网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维，这就是我们在大多数参考资料上看到的卷...
分类：
其他好文 时间：
2014-06-13 15:02:23
阅读次数：
438
目前已有很多方法和技术用于构造分类模型，如决策树、神经网络、贝叶斯方法、Fisher线性分析(Fld)以及支持向量机(Support Vector
Machine, SVM)。基于超完备字典的信号稀疏分解是一种新的信号表示理论，其采用超完备的冗余函数系统代替传统的正交基函数，为信号自适应的稀疏扩展提...
分类：
其他好文 时间：
2014-06-08 21:02:36
阅读次数：
22018
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
BP（Back
Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是眼下应用最广泛的神经网络模型之中的一个。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描写叙述这样的映射关系的数学方程。...
分类：
其他好文 时间：
2014-06-05 19:17:16
阅读次数：
323
