刚开始老师让我们看《数学之美》这本书我是表示很不理解的,因为我想又不是语文课,为什么要写读后感,又不是数学课为什么要看数学之美,但是看了之后,我才发现这本书真的很有用。 其实我还没有读几章节,但是前面讲统计语言模型不仅引起了我很大的兴趣,而且给了我很大的启发。书中提到,如果想知道一个S序列在文中出现 ...
分类:
其他好文 时间:
2019-09-01 18:38:59
阅读次数:
98
基于word2vec的文档向量模型的应用 word2vec的原理以及训练过程具体细节就不介绍了,推荐两篇文档:《word2vec parameter learning explained》、和《word2vec中的数学》。 在《word2vec中的数学》中谈到了训练语言模型的一些方法:比如n gra ...
分类:
其他好文 时间:
2019-08-23 22:37:38
阅读次数:
154
Understanding LSTM Networks 原作者:Christopher Olah 原址:http://colah.github.io/posts/2015 08 Understanding LSTMs/ Step by Step LSTM Walk Through LSTM的第一步是 ...
分类:
Web程序 时间:
2019-08-15 19:21:45
阅读次数:
157
用通俗的语言讲解涵盖算法模型的机器学习,主要内容包括机器学习通用概念、三个基本科学计算工具、有监督学习、聚类模型、降维模型、隐马尔可夫模型、贝叶斯网络、自然语言处理、深度学习、强化学习、模型迁移等。在深入浅出地解析模型与算法之后,介绍使用Python相关工具进行开发的方法、解析经典案例,能理解、能设 ...
分类:
其他好文 时间:
2019-08-11 09:18:05
阅读次数:
4754
机器学习是一门交叉学科 机器学习和很多名词相关 ,包括: 模式识别, 数据清洗,数据挖掘,统计学习,计算机视觉,语音识别 , 深度学习 模式识别,机器学习也是模式学习,只是换了个说法,机器学习把各种各样的场景当成各种模式,把模式识别出来,相当于总结模式的规律 数据挖掘, 很多时候是和数据库的知识,然 ...
分类:
其他好文 时间:
2019-08-04 01:24:12
阅读次数:
93
1. wordvec的概念 2. 语言模型训练的两种模型CBOW+skip gram 3. word2vec 优化的两种方法:层次softmax+负采样 4. gensim word2vec默认用的模型和方法 ...
分类:
其他好文 时间:
2019-07-14 19:33:18
阅读次数:
787
自然语言表征模型最近受到非常多的关注,很多研究者将其视为 NLP 最重要的研究方向之一。例如在大规模语料库上预训练的 BERT,它可以从纯文本中很好地捕捉丰富的语义模式,经过微调后可以持续改善不同 NLP 任务的性能。因此,我们获取 BERT 隐藏层表征后,可用于提升自己任务的性能。 但是,已有的预 ...
分类:
编程语言 时间:
2019-05-31 01:10:57
阅读次数:
2638
也算是给自己立个flag,看自己是什么时候能够吧数学之美能够读完,同时保证在读的过程当中有记录。 第一版读者赞誉 第二版出版说明 第一版序言 第二版序言 第二版前言 第1章 文字和语言 vs 数字和信息 第2章 自然语言处理——从规则到统计 第3章 统计语言模型 第4章 谈谈分词 第5章 隐含马尔可 ...
分类:
其他好文 时间:
2019-05-29 16:20:48
阅读次数:
112
迁移学习是谷歌、Salesforce、IBM和微软Azure提供的多种自动机器学习管理服务的基础。由谷歌提出的BERT模型以及由Sebastian Ruder和Jeremy Howard共同提出的ULMFIT(通用语言模型微调文本分类)模型都重点突出了迁移学习,可见迁移学习是目前NLP(自然语言处理... ...
分类:
Web程序 时间:
2019-05-09 15:14:27
阅读次数:
255
目前大部分的nlp任务采用两阶段的模型,第一阶段进行预训练,一般是训练一个语言模型。最出名的是BERT,BERT的预训练阶段包括两个任务,一个是Masked Language Model,还有一个是Next Sentence Prediction。通过预训练能够利用海量的无标注的预料,以从中抽取出语 ...
分类:
其他好文 时间:
2019-04-27 19:49:12
阅读次数:
227