OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用单词的上文预测单词，而 BERT 是同时使用上文和下文预测单词。因此，GPT 更擅长处理自然语言生成任务 (NLG)，而 BERT 更擅长处理自然语言理解任务 ...
分类：
其他好文 时间：
2021-04-06 15:20:32
阅读次数：
0
0.导语词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。本篇文章讲解词嵌入基础和Word2vec。本文作者：jalammar（https://jalammar.github.io）翻译：黄海广（https://github.com/fengdu78）本文代码
分类：
其他好文 时间：
2020-12-29 11:47:49
阅读次数：
0
关注小夕并星标，解锁自然语言处理搜索、推荐与算法岗求职秘籍导读作为NLP近两年来的当红炸子鸡，以ELMo/BERT为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下18年以来几个预训练的重要工作:ELMo,GPTandBERTELMo首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。GPT提出了NLP预训练技术使用时应该像CV预训练技术一样，在
分类：
Web程序 时间：
2020-12-29 11:05:29
阅读次数：
0
随着机器的逐渐智能化，人类的生活水平也在大幅度提高，这些主要源于深度学习的出现。作为最有影响的人工智能关键共性技术，它在图像分类、语音识别等方面作出了巨大的贡献，虽然实现这一伟大的功能很复杂，但是现阶段通过开元深度学习平台的能力，开发者在开元深度平台上面搭建自己的AI应用，大大提升了效率。飞桨（pa ...
分类：
其他好文 时间：
2020-07-26 11:16:10
阅读次数：
92
任务：构建字符级语言模型来生成新的名称 1.数据集与预处理 读取恐龙名称的数据集，创建一个唯一字符列表（a-z和\n），\n充当EOS名称结束的作用。 1 import numpy as np 2 import random 3 import time 4 import cllm_utils 5 6 ...
分类：
编程语言 时间：
2020-07-03 17:42:05
阅读次数：
120
情感分析：基于卷积神经网络 Sentiment Analysis: Using Convolutional Neural Networks 探讨了如何用二维卷积神经网络来处理二维图像数据。在以往的语言模型和文本分类任务中，把文本数据看作一个一维的时间序列，自然地，使用递归神经网络来处理这些数据。实际 ...
分类：
其他好文 时间：
2020-07-02 19:54:11
阅读次数：
102
abstract 在本文中，我们研究了来自预先训练的语言模型(如BERT)的上下文嵌入的建模能力 ，如E2E-ABSA任务。具体来说，我们建立了一系列简单而又有洞察力的神经基线来处理E2E-ABSA。实验结果表明，即使是一个简单的线性分类层，我们的BERT-based结构也可以超越最先进的作品。此外 ...
分类：
Web程序 时间：
2020-05-29 23:25:24
阅读次数：
106
所谓的短语的语序问题，即给定一个打乱顺序的短语，我们要按照语义信息将其重新组合，新的语序通顺的短语。 举个简单例子，比如我们在识别验证码中的文字的时候，识别出来的文字分别为“哲”，“思”，“学”，“想”，那么重合调整语序后形成的短语应该为“哲学思想”。 这样的问题也会经常出现，除了验证码识别，还有语 ...
分类：
其他好文 时间：
2020-05-18 22:41:39
阅读次数：
123
1.概述 利用语言模型来获得一个上下文相关的预训练表示，称为ELMo。它使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。 2.模型结构 3.双向语言模型 前向概率计算： 后向概率计算： t代表token，即词 最后将前向和后向合并 最 ...
分类：
其他好文 时间：
2020-05-18 09:30:05
阅读次数：
114
1.概述 XLNet 与 Bert 有着许多的不同，XLNet 利用一个全新的模型Transformer-XL作为语义表示的骨架， 将置换语言模型的建模作为优化目标，同时在预训练阶段也利用了更多的数据。 最终，XLNet 在多个 NLP 任务上达到了 SOTA 的效果。 2.Two-Stream S ...
分类：
其他好文 时间：
2020-05-17 01:11:43
阅读次数：
71
