文本行中各列打乱：awk 'BEGIN{srand()}{for(i=1;i<=NF;i++) b[rand()NF]=$i}END{for(x in b)printf "%s ",b[x]}'` data文本行中各行打乱：awk 'BEGIN{srand()}{b[rand()NR]=$0}END...
分类：
其他好文 时间：
2014-08-01 18:29:22
阅读次数：
220
ipopt是一个解决非线性规划最优化问题的工具集，当然，它也可以用于解决线性规划问题的求解。它提供了c/c++接口，非常易于使用。...
分类：
其他好文 时间：
2014-07-26 02:28:06
阅读次数：
263
原文出处：http://blog.csdn.net/amblue/article/details/17023485 在NLP和机器学习中经常会遇到这两种显著不同的模型，在学习阶段（训练阶段）和评估阶段（测试阶段）都有不同的表现总结一下它们之间的区别，欢迎补充：1. 二者最本质的区别是建模对象不同 假...
分类：
其他好文 时间：
2014-07-22 22:43:13
阅读次数：
150
上一节最后讲到了建立一个extractor的方法，手工建立和机器学习等，这一节详细阐述手工建立pattern的方法。引用Jurafsky教授常说的话： let‘s look at the intuition. Jurafsky教授讲话总是微皱着眉头，感觉很较真...
分类：
其他好文 时间：
2014-07-21 13:30:48
阅读次数：
257
转载请注明出处：电子科技大学EClab——落叶花开http://www.cnblogs.com/nlp-yekai/p/3848528.htmlSVD，即奇异值分解，在自然语言处理中，用来做潜在语义分析即LSI，或者LSA。最早见文章An introduction to latent semanti...
分类：
编程语言 时间：
2014-07-19 16:10:01
阅读次数：
418
一直想写点关于数学方面的blog，这对于数据挖掘分析，NLP处理等都有着比较重要的作用，之前在CSDN上想写点HMM方面的文章，一直没写成，最近几天终于抽点时间完成了HMM的文章，加以整理，遂有这个系列文章 首先是对HMM模型的介绍。 传统的马尔可夫模型（Markov Model）主要描述了...
分类：
其他好文 时间：
2014-07-16 21:43:13
阅读次数：
230
在采用FMM （正向最大匹配） 进行中文分词的时候， 可能会存在比较多的交集歧义， 这个时候为了解决交集歧义的问题， 可以采用 FM （Forwar Matching， 正向匹配） 进行中文分词， 正向匹配会在最大匹配的路径上查找所有可能成词的term(这里所有可能成词的term的意思是在构建索引的时候所有切分出来的词， 因为不是路径上的所有节点都会是切分成的词)。
http://blo...
分类：
其他好文 时间：
2014-07-12 22:23:26
阅读次数：
383
最近接触NLP中文分词， 在lunr.js的基础上， 实现了中文的最大正向匹配分词。
某些情况下， 我们在服务器端进行中文文本分词可以使用完整的基于mmseg算法的分词模块， 例如nodejieba, node-segment， 盘古分词等等， 但是在客户端环境下， 我们不能使用这些复杂的分词算法进行分词， 这个时候可以根据已经生成的索引进行简单的客户端分词， 就是所说的FMM (Forwar...
分类：
其他好文 时间：
2014-07-12 22:18:57
阅读次数：
301
在自然语言学习过程中，每个人一定都学过语法，例如句子可以用主语、谓语、宾语来表示。在自然语言的处理过程中，有许多应用场景都需要考虑句子的语法，因此研究语法解析变得非常重要。语法解析有两个主要的问题，其一是句子语法在计算机中的表达与存储方法，以及语料数据集；其二是语法解析的算法。这也是本章将要讨论的内容。...
分类：
其他好文 时间：
2014-07-12 18:49:36
阅读次数：
243
中文分词中存在交集歧义检测问题， 例如“互联网金宝” 可以切分为“互联网” 和“金宝”， 也可以切分为“互联”和“网金宝”， 如何在切分过程中检测是否有交集歧义发生， 以及如果存在交集歧义的话怎么处理切分问题， 是非常重要的话题。
这里， 可以采用FMM算法进行切分， 首先切分出最大的正向匹配， 然后进行交集歧义检测， 如果检测到存在交集歧义， 那么对可能存在歧义的一段文字进行FM切分， 获取所有的可能切分结果； 然后对剩下的query子句重复进行FMM切分， 直到query == null...
分类：
其他好文 时间：
2014-07-12 18:26:14
阅读次数：
264
