Python 中的实用数据挖掘

IPython notebook，是 Python 的一个工具，它是一个以 HTML 形式呈现的交互环境，可以通过它立刻看到结果。我们也将重温其它广泛用于数据科学领域的实用工具。

 

想交互运行下面的例子（选读）？

1. 安装免费的 Anaconda Python 发行版，其中已经包含 Python 本身。

2. 安装“自然语言处理”库——TextBlob：安装包在这。

3. 下载本文的源码（网址：http://radimrehurek.com/data_science_python/data_science_python.ipynb 并运行：$ ipython notebook data_science_python.ipynb

4. 观看 IPython notebook 基本用法教程 IPython tutorial video 。

5. 运行下面的第一个代码，如果执行过程没有报错，就可以了。

In [1]:

让我们跳过真正的第一步（完善资料，了解我们要做的是什么，这在实践过程中是非常重要的），直接到 https://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection 下载 demo 里需要用的 zip 文件，解压到 data 子目录下。你能看到一个大概 0.5MB 大小，名为 SMSSpamCollection 的文件：

 

5574

 

文本集有时候也称为“语料库”，我们来打印 SMS 语料库中的前 10 条信息：

In [3]:

我们看到一个 TSV 文件（用制表符 tab 分隔），它的第一列是标记正常信息（ham）或“垃圾文件”（spam）的标签，第二列是信息本身。

 

这个语料库将作为带标签的训练集。通过使用这些标记了 ham/spam 例子，我们将训练一个自动分辨 ham/spam 的机器学习模型。然后，我们可以用训练好的模型将任意未标记的信息标记为 ham 或 spam。

 

我们可以使用 Python 的 Pandas 库替我们处理 TSV 文件（或 CSV 文件，或 Excel 文件）：

我们也可以使用 pandas 轻松查看统计信息：

 

In [5]:

这些信息的长度是多少：

 

In [6]:

In [9]:

与第一步的方法一样，让我们写一个将信息分割成单词的函数：

In [11]:

这是原始文本处理后的样子：

 

In [13]:

自然语言处理（NLP）的问题：

 

In [14]:

并将单词标准化为基本形式 (lemmas)：

In [15]:

这样就好多了。你也许还会想到更多的方法来改进预处理：解码 HTML 实体（我们上面看到的 &amp 和 &lt）；过滤掉停用词 (代词等)；添加更多特征，比如所有字母大写标识等等。

1.  对每个词在每条信息中出现的次数进行计数（词频）；

2. 对计数进行加权，这样经常出现的单词将会获得较低的权重（逆向文件频率）；

3. 将向量由原始文本长度归一化到单位长度（L2 范式）。

每个向量的维度等于 SMS 语料库中包含的独立词的数量。

 

这里我们使用强大的 python 机器学习训练库 scikit-learn (sklearn)，它包含大量的方法和选项。

我们取一个信息并使用新的 bow_tramsformer 获取向量形式的词袋模型计数:

 

message 4 中有 9 个独立词，它们中的两个出现了两次，其余的只出现了一次。可用性检测，哪些词出现了两次？

 

整个 SMS 语料库的词袋计数是一个庞大的稀疏矩阵：

 

最终，计数后，使用 scikit-learn 的 TFidfTransformer 实现的 TF-IDF 完成词语加权和归一化。

 

单词 “u” 的 IDF（逆向文件频率）是什么？单词“university”的 IDF 又是什么？

 

将整个 bag-of-words 语料库转化为 TF-IDF 语料库。

 

有许多方法可以对数据进行预处理和向量化。这两个步骤也可以称为“特征工程”，它们通常是预测过程中最耗时间和最无趣的部分，但是它们非常重要并且需要经验。诀窍在于反复评估：分析模型误差，改进数据清洗和预处理方法，进行头脑风暴讨论新功能，评估等等。

 

我们来试着分类一个随机信息：

 

太棒了！你也可以用自己的文本试试。

有一个很自然的问题是：我们可以正确分辨多少信息？

我们可以通过这个混淆矩阵计算精度（precision）和召回率（recall），或者它们的组合（调和平均值）F1：

 

有相当多的指标都可以用来评估模型性能，至于哪个最合适是由任务决定的。比如，将“spam”错误预测为“ham”的成本远低于将“ham”错误预测为“spam”的成本。

 

按照要求，测试数据占整个数据集的 20%（总共 5574 条记录中的 1115 条），其余的是训练数据（5574 条中的 4459 条）。

让我们回顾整个流程，将所有步骤放入 scikit-learn 的 Pipeline 中:

 

实际当中一个常见的做法是将训练集再次分割成更小的集合，例如，5 个大小相等的子集。然后我们用 4 个子集训练数据，用最后 1 个子集计算精度（称之为“验证集”）。重复5次（每次使用不同的子集进行验证），这样可以得到模型的“稳定性“。如果模型使用不同子集的得分差异非常大，那么很可能哪里出错了（坏数据或者不良的模型方差）。返回，分析错误，重新检查输入数据有效性，重新检查数据清洗。

在这个例子里，一切进展顺利：

 

得分确实比训练全部数据时差一点点（ 5574 个训练例子中，准确性 0.97），但是它们相当稳定：

 

我们自然会问，如何改进这个模型？这个得分已经很高了，但是我们通常如何改进模型呢？

Naive Bayes 是一个高偏差-低方差的分类器（简单且稳定，不易过度拟合）。与其相反的例子是低偏差-高方差（容易过度拟合）的 k 最临近（kNN）分类器和决策树。Bagging（随机森林）是一种通过训练许多（高方差）模型和求均值来降低方差的方法。

 

换句话说：

• 高偏差 = 分类器比较固执。它有自己的想法，数据能够改变的空间有限。另一方面，也没有多少过度拟合的空间（左图）。
• 低偏差 = 分类器更听话，但也更神经质。大家都知道，让它做什么就做什么可能造成麻烦（右图）。

 （我们对数据的 64% 进行了有效训练：保留 20% 的数据作为测试集，保留剩余的 20% 做 5 折交叉验证 = > 0.8*0.8*5574 = 3567个训练数据。）

随着性能的提升，训练和交叉验证都表现良好，我们发现由于数据量较少，这个模型难以足够复杂/灵活地捕获所有的细微差别。在这种特殊案例中，不管怎样做精度都很高，这个问题看起来不是很明显。

关于这一点，我们有两个选择：

1. 使用更多的训练数据，增加模型的复杂性；
2. 使用更复杂（更低偏差）的模型，从现有数据中获取更多信息。

在过去的几年里，随着收集大规模训练数据越来越容易，机器越来越快。方法 1 变得越来越流行（更简单的算法，更多的数据）。简单的算法（如 Naive Bayes）也有更容易解释的额外优势（相对一些更复杂的黑箱模型，如神经网络）。

了解了如何正确地评估模型，我们现在可以开始研究参数对性能有哪些影响。

到目前为止，我们看到的只是冰山一角，还有许多其它参数需要调整。比如使用什么算法进行训练。

上面我们已经使用了 Navie Bayes，但是 scikit-learn 支持许多分类器：支持向量机、最邻近算法、决策树、Ensamble 方法等…

 

我们会问：IDF 加权对准确性有什么影响？消耗额外成本进行词形还原（与只用纯文字相比）真的会有效果吗？

让我们来看看：

 

（首先显示最佳参数组合：在这个案例中是使用 idf=True 和 analyzer=split_into_lemmas 的参数组合）

快速合理性检查

 

predict_proba 返回每类（ham，spam）的预测概率。在第一个例子中，消息被预测为 ham 的概率 >99%，被预测为 spam 的概率 <1%。如果进行选择模型会认为信息是 ”ham“：

 

在训练期间没有用到的测试集的整体得分：

这是我们使用词形还原、TF-IDF 和 Navie Bayes 分类器的 ham 检测 pipeline 获得的实际预测性能。

让我们尝试另一个分类器：支持向量机（SVM）。SVM 可以非常迅速的得到结果，它所需要的参数调整也很少（虽然比 Navie Bayes 稍多一点），在处理文本数据方面它是个好的起点。

 

因此，很明显的，具有 C=1 的线性核函数是最好的参数组合。

再一次合理性检查：