昨天学习了简单的文本处理，之后在课后的练习中实现了包括了对tf-idf的处理和基于朴素贝叶斯简单的文本分类 基于tf-idf的数据集在出现多个关键词的时候一般能够相对准确对文本进行分类，但是对于相对具有深层含义的内容，例如情感的积极，情感的消息这方面的分类来说，就显得有些乏力的。根据昨天构建的文本分 ...
分类：
其他好文 时间：
2020-07-09 10:48:09
阅读次数：
72
隐马尔可夫模型(Hidden Markov model, HMM) 结构最简单的动态贝叶斯网的生成模型 著名的有向图模型 典型的自然语言中处理标注问题的统计机器学模型 隐马模型发明者： 鲍姆-韦尔奇（美）(Baum-Welch算法) 隐马模型的三个基本问题： （1）概率计算问题：前向-后向算法—>动 ...
分类：
其他好文 时间：
2020-07-03 17:45:48
阅读次数：
63
第1章 绪论 1.1 基本概念 1.1.1 语言学与语音学 1.1.2 自然语言处理 1.1.3 关于“理解”的标准 1.2 自然语言处理研究的内容和面临的困难 1.2.1 自然语言处理研究的内容 1.2.2 自然语言处理涉及的几个层次 1.2.3 自然语言处理面临的困难 1.3 自然语言处理的基本 ...
分类：
编程语言 时间：
2020-07-03 12:49:02
阅读次数：
103
一、朴素贝叶斯分类器的构建 import numpy as np class BernoulliNavieBayes: def __init__(self, alpha=1.): # 平滑系数, 默认为1(拉普拉斯平滑). self.alpha = alpha def _class_prior_pr ...
分类：
其他好文 时间：
2020-06-30 12:34:35
阅读次数：
61
1.下面的代码是上一篇理论中的小例子 from sklearn.neighbors import KNeighborsClassifier # K近邻分类器 from sklearn.datasets import load_iris # 鸢尾花数据 from sklearn.tree import ...
分类：
其他好文 时间：
2020-06-28 22:54:43
阅读次数：
101
?所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、 ...
分类：
其他好文 时间：
2020-06-26 01:29:48
阅读次数：
95
朴素：在给定类别的情况下，各个特征相互独立 贝叶斯公式：P(A|B)=P(A)P(B|A)/P(B) 朴素贝叶斯：P(特征|类别)=P(特征)P(类别|特征)/P(类别) 核心思想：算一下概率，那种类别概率大，就分为那种类别。 在scikit-learn中的实现： 1.高斯贝叶斯：数据集符合高斯（正 ...
分类：
其他好文 时间：
2020-06-25 12:11:08
阅读次数：
100
概述 贝叶斯神经网络是一类神经网络模型，模型的参数不是固定的值，而是分布，如$(图1)$所示。这样设置，我们就能够对数据和模型的不确定性（uncertainty）进行评估。例如有一个函数$f(x)=y$，当函数$f$确定时，输入$x$能得到唯一确定的y，如果我们调整$f$，得到的$y$就会发生变化。 ...
分类：
其他好文 时间：
2020-06-23 01:08:16
阅读次数：
85
贝叶斯推断由上一篇我们已经了解到，对于未知的分布或者难以计算的问题，我们可以通过变分推断将其转换为简单的可计算的问题来求解。现在我们贝叶斯统计的角度，来看一个难以准确计算的案例。 推断问题可以理解为计算条件概率$p(y|x)$。利用贝叶斯定理，可以将计算条件概率（或者说后验概率，posterior） ...
分类：
其他好文 时间：
2020-06-23 01:01:38
阅读次数：
568
引言GAN专题介绍了GAN的原理以及一些变种，这次打算介绍另一个重要的生成模型——变分自编码器（Variational AutoEncoder，VAE）。但在介绍编码器之前，这里会先花一点时间介绍变分推断（Variational Inference，VI），而这一小系列最后还会介绍贝叶斯神经网络—— ...
分类：
其他好文 时间：
2020-06-23 00:52:11
阅读次数：
82
