一、N-gram介绍 n元语法(英语:N-gram)指文本中连续出现的n个语词。n元语法模型是基于(n - 1)阶马尔可夫链的一种概率语言模型,通过n个语词出现的概率来推断语句的结构。这一模型被广泛应用于概率论、通信理论、计算语言学(如基于统计的自然语言处理NLP)、计算生物学(如序列分析)、数据压 ...
分类:
编程语言 时间:
2020-01-11 22:41:14
阅读次数:
173
一、参考资料 链接: https://pan.baidu.com/s/1qUlPpUoxfmFRscxvDpS4kw 提取码: zrcb http://zhongce.sina.com.cn/article/view/23230/ https://yq.aliyun.com/articles/695 ...
分类:
编程语言 时间:
2020-01-06 14:50:25
阅读次数:
98
经常听到这种言论: 某某技术工作机会少, 只有另一种技术工作机会的几分之一. 然而再多的工作机会, 你也只能做一份工作啊. 工作机会少有时反而是一件好事. 以微软dynamics和自然语言处理NLP为例. 微软dynamics工作机会很少, 然而薪水和级别都不菲. 所以虽然工作机会少, 但是再多的工 ...
分类:
其他好文 时间:
2019-12-31 10:50:18
阅读次数:
83
概率是从高中就开始学习的内容,自然语言处理的学习中概率是常用的数学知识之一,但毕业多年,日常的工作学习中也很少用到,忘记了大半,也借此机会将基础知识复习一下。概率:什么是概率?简单的理解,某一系列事件中某一事件发生的频率,或一系列事件中某一事件发生的可能性。联合概率: P(AB),代表A和B都发生的 ...
分类:
编程语言 时间:
2019-12-27 00:21:53
阅读次数:
153
本科阶段学了三四遍的HMM,机器学习课,自然语言处理课,中文信息处理课;如今学研究生的自然语言处理,又碰见了这个老熟人; 虽多次碰到,但总觉得一知半解,对其了解不够全面,借着这次的机会,我想要直接搞定这个大名鼎鼎的模型,也省着之后遇到再费心。 Outline 模型引入与背景介绍 从概率图讲起 贝叶斯 ...
分类:
其他好文 时间:
2019-12-24 23:48:08
阅读次数:
103
最近因学习任务,对语音识别需要了解,所以现在就把一些学习过程遇到的问题解决方法分享给大家。首先pyhon提供了许多语音识别库,大致包含: 上述语音识别软件库各个之间的侧重点不同,如:谷歌云语音侧重语音向文本转换,又如wit与apiai还提供超出基本语音识别的内置功能(识别讲话者意图的自然语言处理功能 ...
分类:
编程语言 时间:
2019-12-24 12:04:12
阅读次数:
508
基本概念:人工智能,机器学习,深度学习,强化学习的区别和简介 机器学习(Machine Learning)是实现人工智能的一种手段.也是目前被认为比较有效的实现人工智能的手段.目前在业界使用机器学习比较突出的领域很多,例如计算机视觉,自然语言处理,推荐系统,文本分等,大家生活中经常用到的比如高速上E ...
分类:
其他好文 时间:
2019-12-20 20:57:56
阅读次数:
149
import sys import codecs import tensorflow as tf # 1.参数设置。 # 读取checkpoint的路径。9000表示是训练程序在第9000步保存的checkpoint。 CHECKPOINT_PATH = "F:\\temp\\attention_c... ...
分类:
编程语言 时间:
2019-12-19 21:35:30
阅读次数:
93
import tensorflow as tf # 1.参数设置。 # 假设输入数据已经用9.2.1小节中的方法转换成了单词编号的格式。 SRC_TRAIN_DATA = "F:\\TensorFlowGoogle\\201806-github\\TensorFlowGoogleCode\\Chap... ...
分类:
编程语言 时间:
2019-12-19 19:30:42
阅读次数:
136