故事从一条小学数学题说起 "爸爸,熊猫为什么是3个不是11个" "宝贝,你还没学二进制好吗....." 以上故事纯属虚构,真实的对话其实是这样的 "爸爸, 为什么3比4小" "宝贝，数一下就知道啦。你看猪猪有1,2,3. 3个, 小鸟有1,2,3,4. 4个. 你看小鸟是不是比猪猪多? 所以3比4小 ...
分类：
其他好文 时间：
2016-11-30 21:48:49
阅读次数：
216
一、定义： 有n个训练样本Zn={zi(xi,yi), i=1,2,...,n},定义N(Zn)为函数集中的函数能对样本分类的数目。 解释：xi 代表特征向量如d维特征向量，yi代表一个标记如0或1, 因此zi就是对一个特征的标记，Zn中有n个样本，可能的标记方式2n种，一种标记方式就生成一种样本集 ...
分类：
其他好文 时间：
2016-11-29 21:52:20
阅读次数：
895
Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使?C/?w和?C/?b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 ...
分类：
其他好文 时间：
2016-11-28 00:46:41
阅读次数：
550
转自：http://blog.csdn.net/u014313009/article/details/51043064，感谢分享！ 交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进 ...
分类：
其他好文 时间：
2016-11-25 17:34:58
阅读次数：
567
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2016-11-23 22:23:15
阅读次数：
308
EntropyService：熵（shang）服务，用于产生随机数PowerManagerService：电源管理服务ActivityManagerService：最核心服务之一，Activity管理服务TelephonyRegistry：电话服务，电话底层通知服务PackageManagerSer ...
分类：
移动开发 时间：
2016-11-17 01:56:13
阅读次数：
309
作者：Noriko Oshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有，转载请联系作者获得授权。 熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分 ...
分类：
其他好文 时间：
2016-11-16 11:16:34
阅读次数：
338
1 将决策树看作条件概率分布 决策树可表示为给定特征条件下类的条件概率分布。即，将特征空间划分为互不相交的单元，每个单元对应于决策树中一条从根节点到叶节点的路径。每个单元对应一个条件概率分布。一个好的决策树在叶节点上的条件概率（即一个单元内的条件概率）应该偏向某个类，即保证叶子节点内的数据的熵很小。 ...
分类：
其他好文 时间：
2016-11-10 03:08:44
阅读次数：
220
文本提取特征常用的模型有：1.Bag-of-words：最原始的特征集，一个单词/分词就是一个特征。往往一个数据集就会有上万个特征；有一些简单的指标可以帮助筛选掉一些对分类没帮助的词语，例如去停词，计算互信息熵等等，但不管怎么训练，特征维度都很大，每个特征的信息量太小；2.统计特征：包括Term f ...
分类：
其他好文 时间：
2016-11-08 13:17:41
阅读次数：
5556
在利用张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)进行分词的时候，发现工具包不能正常安装，从报出的错误推测是gcc ...
分类：
其他好文 时间：
2016-10-29 07:39:07
阅读次数：
179
