信息熵很亮的是在你知道一个事件的结果后，平均会带给你多大的信息量，当事件的不确定性越大，那么要搞清它所需要的信息量也就越大，也就是信息熵越大，是无序性，不确定性的度量指标。
信息熵的计算：
-p[i]logp[i]，底数为2
public static double calcEntropy(int p[]) {
double entropy = 0;
// 用来计算总的样本数量，p[...
分类：
其他好文 时间：
2014-08-25 15:01:05
阅读次数：
293
1.背景 最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。 博主是参照wiki来学习的，地址请点击我 这里实现的是特别简单的例子如下（摘自wiki的最大似然）离散分布，离散...
分类：
编程语言 时间：
2014-08-25 11:53:54
阅读次数：
1655
在网上找到一篇好文，直接粘贴过来，加上一些补充和自己的理解，算作此文。My education in the fundamentals of machine learning has mainly come from Andrew Ng’s excellent Coursera course on ...
分类：
其他好文 时间：
2014-08-24 23:41:03
阅读次数：
518
机器学习就是把无序的数据转换成有用的信息。
机器学习的主要任务就是分类，通过通过训练数据训练算法，最终可以将实际的数据分到合适的类别中
监督学习算法：预测目标变量的值
k-means算法，线性回归
朴素贝叶斯算法，局部加权线性回归
支持向量机，ridge回归
决策树，lasso最小回归系数估计
无监督学习算法：不需要预测目标变量的值
k-均值，最大期望算法
DBS...
分类：
其他好文 时间：
2014-08-22 14:28:59
阅读次数：
340
Linear Regreesion 线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。 Cost Function的...
分类：
其他好文 时间：
2014-08-21 22:34:24
阅读次数：
349
网易公开课，第16课 notes，12 前面的supervised learning，对于一个指定的x可以明确告诉你，正确的y是什么 但某些sequential decision making问题，比如下棋或直升机自动驾驶 无法确切知道，下一步怎么样是正确的，因为这是一个连续和序列化的决策，比如直到...
分类：
其他好文 时间：
2014-08-21 18:43:24
阅读次数：
271
真的是应了那么一句话：“行百里者半九十”，原先还曾豪情壮志的想把blog搞得有声有色，得一个“恒”字勋章。现在看来，暑期将尽，更新无多，愧对了自己的那份心情。
好在亡羊补牢，把最近的一些行程做一个简单的总结，荒疏的事情，重新捡起。
6月22-7月14这段时间，基本上是连——沈两地通勤了，没办法了，接了“机器学习导论”这门小学期的课程，也算是一个小的尝试，头一次讲解，马虎不得。课件、作业、程序，...
分类：
其他好文 时间：
2014-08-20 22:43:53
阅读次数：
244
简要介绍EM算法，并使用EM算法求解两个高斯分布的参数估计问题，使用Python实现代码运行。...
分类：
编程语言 时间：
2014-08-20 22:43:13
阅读次数：
1391
Probabilistic Latent Semantic Indexing（PLSI/PLSA）是常用的话题模型之一，他通过生成模型来模拟文档的产生过程，然后用Maximum likelihood的方法估计模型中未知参数的值，来获取整个生成模型中的参数值，从而构建起整个生成模型。...
分类：
其他好文 时间：
2014-08-20 16:32:52
阅读次数：
342
