train.py: # -*- coding: UTF-8 -*- """ 训练神经网络模型 大家之后可以加上各种的 name_scope（命名空间） 用 TensorBoard 来可视化 一些术语的概念 # Batch size : 批次(样本)数目。一次迭代（Forword 运算（用于得到损失函 ...
分类：
其他好文 时间：
2020-02-22 22:23:04
阅读次数：
85
seq2seq " " 每个词在编码器端，经过双向LSTM，在解码端编码层的隐藏状态和解码器的隐藏状态，做一个加法attention： $$ e_i^t = v^Ttanh(W_hh_i+W_ss_t+b_{attn}) $$ $$ a^t = softmax(e^t) $$ 其中： + $h_i$ ...
分类：
其他好文 时间：
2020-02-20 22:28:37
阅读次数：
148
一、摘要 提供了一种新的篇章级别的事件识别模型scale-free Identifier Network (sfIN)，能够更有效地处理长文档。模型采用监督学习和强化学习结合的方法训练。 二、架构 与LSTM-crf等基于神经网络的模型不同，mRR将文本编码到一个分层的存储栈中，使整个文本能进行更复 ...
分类：
其他好文 时间：
2020-02-20 13:29:35
阅读次数：
63
1.textCNN 优势：短文本分类 可参照：https://www.cnblogs.com/AntonioSu/p/11969386.html 2.fast Text 优点：训练速度快 3.HAN(Hierarchical Attention Network) 优点：对文档的分类 双向的LSTM， ...
分类：
其他好文 时间：
2020-02-19 23:42:54
阅读次数：
85
目录： 基础部分回顾（词向量、语言模型） NLP的核心：学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾（词向量、语言模型） 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量？（On ...
分类：
其他好文 时间：
2020-02-19 20:39:48
阅读次数：
184
1 卷积操作 2 反卷积操作 3 LSTM 4 GRU 5 Loss 6 optimizer ...
分类：
其他好文 时间：
2020-02-18 12:52:29
阅读次数：
54
单向LSTM import torch.nn as nn import torch seq_len = 20 batch_size = 64 embedding_dim = 100 num_embeddings = 300 hidden_size = 128 number_layer = 3 inp ...
分类：
其他好文 时间：
2020-02-17 19:41:57
阅读次数：
379
循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ?控循环神经?络：捕捉时间序列中时间步距离较?的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x ...
分类：
其他好文 时间：
2020-02-15 13:26:38
阅读次数：
78
一、前提 该篇为基于实现LSTM中文情感倾向分析的基础上，为提高情感倾向预测的准确度，而引入的一个注意力机制模块，通过翻阅相关学术文献和其他资料所作的归纳总结。 二、注意力机制简介 简单来说，注意力机制与人类视觉注意力相似，正如人在看事物一样，会选择重点的对象，而忽略次要对象。近几年来，注意力机制在 ...
分类：
其他好文 时间：
2020-02-09 09:52:50
阅读次数：
57
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：“北京的首都是中国”与“中国的首都是北京”的相似度为1。“学习容易”和“学习困难”的相似度很容易也非常高。为解决这类问题，需要用其他方法对句子进行表示，LSTM是... ...
分类：
其他好文 时间：
2020-02-04 14:11:31
阅读次数：
99
