NLP 分词或word2vec之前,一般都需要先进行标点符号的预处理,直接上解决的代码,精简。#!/usr/bin/env python# coding=utf-8from string import punctuationimport reimport sysreload(sys)sys.setd...
分类:
其他好文 时间:
2015-07-27 18:13:23
阅读次数:
316
作为应用广泛的一种统计模型(尤其是在自然语言处理(NLP)中),隐马尔科夫模型是非常值得一说的,本文就隐马尔科夫模型的原理和应用介绍进行说明。由于隐马尔科夫模型有着很多不同的具体算法实现,本文暂时跳过这部分内容,算法部分会另外写成一篇博文。马尔科夫链在语言模型及其实现中,我曾经简单地提到过马尔科夫链...
分类:
其他好文 时间:
2015-07-22 06:53:15
阅读次数:
159
《立委随笔:机器学习和自然语言处理》 作者:李维有脚客介绍人工智能(AI)现状 ( http://rl.rockiestech.com/node/636 ),认为由于机器学习(ML)技术的长足进步,人工智能正进入繁荣期,并且开始成功用于自然语言处理(NLP). 除了调子过分乐观了一些,这是个不错的介...
分类:
编程语言 时间:
2015-07-21 16:44:15
阅读次数:
210
在项目里用到C#对英文句子进行词性标注,比较成熟的英文词性标注软件是stanford-parser。它个C#版本,也是借助于IKVM完成JAVA-C#的转换。具体配置步骤如下:
1、下载stanford-parser的jar包
http://nlp.stanford.edu/software/lex-parser.shtml
2、下载C#版本的工程
https://github.com/...
#library("rJava")library("Rwordseg")library("NLP")library("tm")library(igraph)#setwd("E:\\毕业设计\\")#txt<-read.csv(file="总评论文本.csv",header=T)#txt<-txt[s...
分类:
其他好文 时间:
2015-07-16 18:13:42
阅读次数:
126
preface: 最近忙着的项目想试着用斯坦福的parser,来解析句子生成句法分析树,然后分析子树,与treekernal结合起来,训练。stanford parser神器下载下来了,可使用却是蛋疼。一大堆说明,却没个方便快捷关于总的介绍。
一、必先利其器
stanford parser主页:http://nlp.stanford.edu/software/lex-parser.sh...
分类:
其他好文 时间:
2015-07-12 00:20:50
阅读次数:
244
一.分词软件简介主流分词软件挑重要的讲,目前的分词软件很多,也比较杂。这里列举一些效果比较好的分词软件。Stanford Word Segmenter (Java,GPL) 老牌美帝斯坦佛大学NLP小组出品nlpbamboo (C++, BSD) PostgreSQL的大大们制作的一个基于CRF++...
分类:
编程语言 时间:
2015-07-01 17:27:55
阅读次数:
301
1.简介
stanford分词目前支持 Arabic 和 Chinese。它的原理是基于CRFs, CRFs分词的原理不难懂,就是把分词当作另一种形式的命名实体识别,利用特征建立概率图模型后,用Veterbi算法求最短路径。stanford
nlp提供了源码demo,目前的版本是3.5.2。
下载地址:http://nlp.stanford.edu/software/segmenter.s...
分类:
其他好文 时间:
2015-07-01 10:00:10
阅读次数:
888
Deep Learning in NLP (一)词向量和语言模型这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。 Deep Learning 算法已经在图像和音频领域取得了惊人的成果,但是在 N....
分类:
编程语言 时间:
2015-06-25 21:04:30
阅读次数:
232
http://www.zhihu.com/question/19895141stanford NLP课程网址https://class.coursera.org/nlp/lecture14 个回答赞同337反对,不会显示你的姓名吴俣,自然语言处理民工杨泽、林斌、王汪汪等人赞同推荐《数学之美》,这个书...
分类:
编程语言 时间:
2015-06-22 22:13:44
阅读次数:
289