LSA and SVD
LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道，在文档的空间向量模型（VSM）中，文档被表示成由特征词出现概率组成的多维向量，这种方法的好处是可以将query和文档转化成同一空间下的向量计算相似度，可以对不同词项赋予不同的权重，在文本检索、分类、聚类问题中都得到了广泛应用，在基于贝叶斯算法及KNN算法的ne...
分类：
其他好文 时间：
2015-01-09 20:59:37
阅读次数：
265
Amazement awaits us at every corner.1、贝叶斯算法[1-a]/网络[1-b] Bayesian/BN（Bayesian Network）References:[1-a]URL: http://mindhacks.cn/2008/09/21/the-magical-...
分类：
编程语言 时间：
2014-12-31 18:22:33
阅读次数：
153
前言 朴素贝叶斯算法最为广泛而经典的应用毫无疑问是文档分类，更具体的情形是邮件过滤系统。 本文详细地讲解一个基于朴素贝叶斯分类算法的邮件过滤系统的具体实现。 本文侧重于工程实现，至于其中很多算法的细节请参考之前的一篇文章：朴素贝叶斯分类算法原理分析与代码实现准备数据：切分文本 获取到文本文件...
分类：
编程语言 时间：
2014-12-26 18:35:50
阅读次数：
240
贝叶斯的应用过滤垃圾邮件贝叶斯分类器的著名的应用就是垃圾邮件过滤了，这方面推荐想详细了解的可以去看看《黑客与画家》或是《数学之美》中对应的章节，贝叶斯的基础实现看这里数据集两个文件夹，分别是正常邮件和垃圾邮件，其中各有25封邮件测试方法从50封邮件中随机选取10封做为测试数据实现细节1.首先我们需要...
分类：
编程语言 时间：
2014-11-19 07:10:16
阅读次数：
371
朴素贝叶斯算法优缺点优点：在数据较少的情况下依然有效，可以处理多类别问题缺点：对输入数据的准备方式敏感适用数据类型：标称型数据算法思想：朴素贝叶斯比如我们想判断一个邮件是不是垃圾邮件，那么我们知道的是这个邮件中的词的分布，那么我们还要知道：垃圾邮件中某些词的出现是多少，就可以利用贝叶斯定理得到。朴素...
分类：
编程语言 时间：
2014-11-17 01:43:33
阅读次数：
456
题记：
近来关于数据挖掘学习过程中，学习到朴素贝叶斯运算ROC曲线。也是本节实验课题，roc曲线的计算原理以及如果统计TP、FP、TN、FN、TPR、FPR、ROC面积等等。往往运用ROC面积评估模型准确率，一般认为越接近0.5，模型准确率越低，最好状态接近1，完全正确的模型...
分类：
编程语言 时间：
2014-10-30 22:15:38
阅读次数：
492
1. 例子引入：如上篇的play or not 例子。未知分类的样本：D:, 是 or 否？我们要判断该样本的分类，即比较该样本属于是的概率大还是否的概率大 P(是/否|A=sunny, B=cool, C=high ,D=strong)P(是|A=sunny, B=cool, C=high ,D=...
分类：
编程语言 时间：
2014-10-12 22:01:08
阅读次数：
488
机器学习就是把无序的数据转换成有用的信息。
机器学习的主要任务就是分类，通过通过训练数据训练算法，最终可以将实际的数据分到合适的类别中
监督学习算法：预测目标变量的值
k-means算法，线性回归
朴素贝叶斯算法，局部加权线性回归
支持向量机，ridge回归
决策树，lasso最小回归系数估计
无监督学习算法：不需要预测目标变量的值
k-均值，最大期望算法
DBS...
分类：
其他好文 时间：
2014-08-22 14:28:59
阅读次数：
340
代码测试环境：Hadoop2.4+Mahout1.0前面博客：mahout贝叶斯算法开发思路（拓展篇）1和mahout贝叶斯算法开发思路（拓展篇）2 分析了Mahout中贝叶斯算法针对数值型数据的处理。在前面这两篇博客中并没有关于如何分类不带标签的原始数据的处理。下面这篇博客就针对这样的数据进行处理。最新版（适合Hadoop2.4+mahout1.0环境）源码以及jar包可以在这里下载：下载后参考...
分类：
其他好文 时间：
2014-07-20 23:19:06
阅读次数：
463
引言如果你对naive bayes认识还处于初级阶段，只了解基本的原理和假设，还没有实现过产品级的代码，那么这篇文章能够帮助你一步步对原始的朴素贝叶斯算法进行改进。在这个过程中你将会看到朴素贝叶斯假设的一些不合理处以及局限性，从而了解为什么这些假设在简化你的算法的同时，使最终分类结果变得糟糕，并针对...
分类：
其他好文 时间：
2014-07-07 10:44:41
阅读次数：
171
