学好英语三步骤 1单词 刘晓艳之单词汇总 https://www.bilibili.com/video/av83512764?from=search&seid=4591730888108589573 2语法 长难句分析（稍后会有根据语言模型学英语的心得） https://www.bilibili.c ...
分类：
其他好文 时间：
2020-02-21 16:27:08
阅读次数：
56
课程引用自伯禹平台：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 《动手学深度学习》官方网址：http://zh.gluon.ai/ ——面向中文读者的能运行、可讨论的深度学习教科书。 第二次打卡： Task03: 过拟合、欠拟合及其解决 ...
分类：
编程语言 时间：
2020-02-19 20:47:13
阅读次数：
105
目录： 基础部分回顾（词向量、语言模型） NLP的核心：学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾（词向量、语言模型） 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量？（On ...
分类：
其他好文 时间：
2020-02-19 20:39:48
阅读次数：
184
task0201.文本预处理 代码解读 文本预处理步骤： Vocab字典构建步骤： 部分知识汇总： 课后习题 task0202.语言模型与数据集 课后习题 task0203.循环神经网络基础 课后习题 ...
分类：
其他好文 时间：
2020-02-14 22:39:07
阅读次数：
84
课程引用自伯禹平台：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 《动手学深度学习》官方网址：http://zh.gluon.ai/ ——面向中文读者的能运行、可讨论的深度学习教科书。 task2：文本预处理；语言模型；循环神经网络基础 ...
分类：
编程语言 时间：
2020-02-14 20:48:41
阅读次数：
77
循环神经网络 下图展示了如何基于循环神经网络实现语言模型。目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量𝐻，用𝐻𝑡表示𝐻在时间步𝑡的值。𝐻𝑡的计算基于𝑋𝑡和𝐻𝑡?1，可以认为𝐻𝑡记录了到当前字符为止的序列信息，利用𝐻𝑡对序列的下 ...
分类：
其他好文 时间：
2020-02-14 18:28:44
阅读次数：
101
文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 现有的工具可以很好地进行分词，spaCy和NLTK。 使用示例： ...
分类：
编程语言 时间：
2020-02-14 16:22:18
阅读次数：
81
语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为𝑇的词的序列𝑤1,𝑤2,…,𝑤𝑇，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： 本节我们介绍基于统计的语言模型，主要是𝑛元语法（𝑛-gram）。 语言模型 假设序列𝑤1,𝑤2,…,𝑤𝑇中的每个词是 ...
分类：
编程语言 时间：
2020-02-14 10:30:47
阅读次数：
106
1.语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的，我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\\ &= P( ...
分类：
编程语言 时间：
2020-02-13 11:23:03
阅读次数：
133
