第4章 朴素贝叶斯法
朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出Y。
4.1 朴素贝叶斯法的学习与分类
基本方法
朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布
P(X,Y)。
...
分类：
其他好文 时间：
2016-03-30 13:13:26
阅读次数：
320
第5章 决策树
决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决...
分类：
其他好文 时间：
2016-03-30 13:13:19
阅读次数：
248
由之前对核函数的定义（见统计学习方法定义7.6）：
设χ是输入空间（欧氏空间或离散集合），Η为特征空间（希尔伯特空间），如果存在一个从χ到Η的映射
φ(x): χ→Η
使得对所有的x,z∈χ,函数Κ(x,z)=φ(x)?φ(z)，
则称Κ(x,z)为核函数，φ(x)为映射函数，φ(x)?φ(z)为x,z映射到特征空间上的内积。
由于映射函数十分复杂难以计算，在实际中，通常都是使用核函数...
分类：
其他好文 时间：
2016-03-29 10:57:41
阅读次数：
248
系统的深入学习的话避免不了阅读相关的papers 论文：ACM的RecSys，KDD，WWW，SIGIR等会议上都有相关的论文 书籍 推荐系统实践 (豆瓣) 推荐系统 (豆瓣) 机器学习实战 (豆瓣) 统计学习方法 (豆瓣) Recommender Systems Handbook (豆瓣)等 视频... ...
分类：
编程语言 时间：
2016-03-28 15:35:16
阅读次数：
447
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。 构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是
分类：
其他好文 时间：
2016-03-19 11:11:33
阅读次数：
153
理论知识可参考：《统计学习方法》 （李航 著） 第八章 简单代码实现：
分类：
编程语言 时间：
2016-03-17 21:27:26
阅读次数：
305
1. 扼要重述 对于函数$f\in\mathcal{F}$, 其经验风险为 $\hat{R}(f)=\frac{1}{n}\sum\limits_{i=1}^{n}l(f(X_{i}),Y_{i})$ 翻译自 CS281B/Stat241B (Spring 2008) 统计学习理论 授课人：Pete
分类：
其他好文 时间：
2016-03-01 22:39:59
阅读次数：
939
KNN算法的介绍请参考： http://blog.csdn.net/zouxy09/article/details/16955347 统计学习方法里面给出了KD Tree的算法介绍,按照书上的进行了实现： # -*- coding: utf-8 -*- from operator import it
分类：
编程语言 时间：
2016-03-01 00:44:25
阅读次数：
323
1、统计类工具：可参见【统计学习常用Python扩展包】2、简繁转换工具：opencc Open Chinese Convert（OpenCC）是一個中文簡繁轉換開源項目，提供高質量的簡繁轉換詞庫和可供調用的函數庫(libopencc)。還提供命令行簡繁轉換工具，人工校對工具，詞典生成程序，以及圖....
分类：
其他好文 时间：
2016-01-05 15:10:15
阅读次数：
135
感知机具体说明：见《统计学习方法第二章》。实现(scikit-learn):数据集 1 import numpy as np 2 import matplotlib.pyplot as plt 3 from sklearn.linear_model import perceptron 4 5 # ....
分类：
系统相关 时间：
2016-01-03 14:52:14
阅读次数：
239
