关注小夕并星标，解锁自然语言处理搜索、推荐与算法岗求职秘籍文|苏剑林（追一科技，人称苏神）美|人美心细小谨思密达前言这篇文章简单介绍一个叫做AdaX的优化器，来自《AdaX:AdaptiveGradientDescentwithExponentialLongTermMemory》。介绍这个优化器的原因是它再次印证了之前在《硬核推导GoogleAdaFactor：一个省显存的宝藏优化器》一文中提到的
分类：
其他好文 时间：
2020-12-29 11:06:55
阅读次数：
0
关注小夕并星标，解锁自然语言处理搜索、推荐与算法岗求职秘籍导读作为NLP近两年来的当红炸子鸡，以ELMo/BERT为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下18年以来几个预训练的重要工作:ELMo,GPTandBERTELMo首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。GPT提出了NLP预训练技术使用时应该像CV预训练技术一样，在
分类：
Web程序 时间：
2020-12-29 11:05:29
阅读次数：
0
图源：unsplash我们的生活中有许多地方会用到概要。看书的时候，书背后的简要使我们大概了解其内容；新闻软件往往会有关于文章内容的标题；而概要对于影评来说也是特别重要的。随着自然语言处理和机器学习等技术的出现，我们为何不用它们来生成概要而无需介入人力呢？在你决定为了即将到来的考试概括教材之前，先来了解一些重要的概念吧。文本摘要有两类，抽取式和生成式。抽取式摘要抽取式摘要可被定义为精心挑选出所有重
分类：
其他好文 时间：
2020-12-21 11:50:16
阅读次数：
0
重磅干货，第一时间送达1AboutCS224N「CS224n：深度自然语言处理课程」（NaturalLanguageProcessingwithDeepLearning），由斯坦福大学出品，让你在了解丰富的自然语言处理基础理论的同时，学会将运用神经网络到实际问题中。主讲人为斯坦福大学人工智能实验室主任，著名计算机科学家ChristopherManning教授，1月份课程阅读材料已公布。本课程自20
分类：
其他好文 时间：
2020-12-21 10:59:09
阅读次数：
0
参考链接： 史上最小白之Transformer详解_Tink1995的博客-CSDN博客_transformer 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 知乎 史上最小白之Bert详解_Tink1995的博客-CSDN博客 BERT之后的模型有哪些？ - ...
分类：
其他好文 时间：
2020-12-17 12:38:47
阅读次数：
2
上次文章从广泛意义上说了结构化预测【见下文】闲聊结构化预测（structuredlearning）【这是一类问题】本文聊一下自然语言处理中的结构化预测问题。StructuredPrediction一开始还是说一下结构化预测的概念，结构化预测不是输出一个标量(回归问题)或者一个类别（分类问题），而是输出一个结构，树、图或者其它序列能够互相影响彼此。在自然语言处理中，结构化预测问题有以下几种：Sequ
分类：
编程语言 时间：
2020-11-26 14:57:35
阅读次数：
7
机器学习算法与自然语言处理出品@公众号原创专栏作者huybery学校|东北大学关于自监督学习，知乎上已经有了一些资源，比如师兄@bingo的两篇介绍[2][3]、@NaiyanWang大佬之前做的survey[4]、还有最新的@Sherlock[5]。本来我的这篇分享是准备叫「Self-SupervisedLearning入门介绍」，可惜在写作的过程中@Sherlock老哥抢先一步，所以只能叫「再
分类：
其他好文 时间：
2020-11-26 14:38:02
阅读次数：
6
机器学习算法与自然语言处理出品@公众号原创专栏作者Don.hub单位|京东算法工程师学校|帝国理工大学OutlineIntuitionAnalysisProsConsFromSeq2SeqToAttentionModelseq2seq很重要，但是缺陷也很明显attentionwasbornWritetheencoderanddecodermodelTaxonomyofattentionnumber
分类：
其他好文 时间：
2020-11-26 14:37:40
阅读次数：
4
机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|中国药科大学药学信息学硕士知乎专栏|自然语言处理相关论文前几天写了一篇短文本相似度算法研究的文章，不过里面介绍的方法基本上都是基于词向量生成句子向量的方法。今天在这里就介绍一下传统算法TF-IDF是如何计算短文本相似度的。TF-IDF是英文TermFrequency–InverseDocumentFrequency的缩写，中文叫做词
分类：
其他好文 时间：
2020-11-25 12:59:04
阅读次数：
10
机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|NLP算法工程师知乎专栏|自然语言处理相关论文短文本相似度，即求解两个短文本之间的相似程度；它是文本匹配任务或文本蕴含任务的一种特殊形式，返回文本之间相似程度的具体数值。然而在工业界中，短文本相似度计算占有举足轻重的地位。例如：在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配
分类：
编程语言 时间：
2020-11-25 12:58:27
阅读次数：
18
