现在是用XuXiaoQing33句语料，用Ning的随机的初始化的切分信息进行训练，得到monophome.mmf文件，然后用来进行fa，现在的问题是：训练得到monophome.mmf文件的时间太长了，用训练得到的monophome.mmf文件再来做fa，得到的切分信息也不准确啊。所以，现在要用H...
分类：
其他好文 时间：
2015-04-08 12:56:18
阅读次数：
105
写在前面：WordCount的功能是统计输入文件中每个单词出现的次数。基本解决思路就是将文本内容切分成单词，将其中相同的单词聚集在一起，统计其数量作为该单词的出现次数输出。1.MapReduce之wordcount的计算模型1.1 WordCount的Map过程假设有两个输入文本文件，输入数据经过默...
分类：
其他好文 时间：
2015-04-06 16:55:43
阅读次数：
150
记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题总共有3个如下
1问题一如何Pig中使用ASCII和十六进制hexadecimal的分隔符进行加载和切分数据
注意关于这个问题在Pig中会反应到2个场景中第一在Pig加载load数据时候。第二
在Pig处理split或则正则截取数据的..
分类：
Web程序 时间：
2015-04-02 16:41:28
阅读次数：
242
记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题，总共有3个，如下：? （1）问题一： 如何Pig中使用ASCII和十六进制（hexadecimal）的分隔符进行加载，和切分数据？? 注意关于这个问题，在...
分类：
Web程序 时间：
2015-04-02 15:18:47
阅读次数：
261
记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题，总共有3个，如下：
（1）问题一： 如何Pig中使用ASCII和十六进制（hexadecimal）的分隔符进行加载，和切分数据？
注意关于这个问题，在Pig中，会反应到2个场景中，
第一： 在Pig加载（load）数据时候 。
第二： 在Pig处理split，或则正则截取数据的时候。
...
分类：
Web程序 时间：
2015-04-02 15:12:28
阅读次数：
213
记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题，总共有3个，如下： （1）问题一： 如何Pig中使用ASCII和十六进制（hexadecimal）的分隔符进行加载，和切分数据？ 注意关于这个问题，在Pig中，会反应到2个场景中， 第一： 在Pig加载（load）...
分类：
Web程序 时间：
2015-04-02 14:38:21
阅读次数：
167
#!/usr/bin/env python
import numpy as np
fl = open('te.csv')
try:
text = fl.readline( )
finally:
print text
#fl.close( )
#print text
#data = np.loadtxt("\usr\data\tianchi_mobile_recomm...
分类：
编程语言 时间：
2015-04-02 09:08:44
阅读次数：
195
Spark Runtime里的主要层次分析，梳理Runtime组件和执行流程，DAGSchedulerJob=多个stage，Stage=多个同种task, Task分为ShuffleMapTask和ResultTask，Dependency分为ShuffleDependency和NarrowDependency面向stage的切分，切分依据为宽依赖维护waiting jobs和active job...
分类：
其他好文 时间：
2015-03-20 18:37:34
阅读次数：
3996
关于数据切分的原理可以参见博客：
http://blog.csdn.net/jhq0113/article/details/44226789
关于Atlas的介绍可以参见博客：
http://blog.csdn.net/jhq0113/article/details/44239823
...
分类：
数据库 时间：
2015-03-16 12:55:48
阅读次数：
268
(Version 0.0)作为一个小弱，这个题目是我第一次碰到三维的动态规划。在自己做的时候意识到了所谓的scramble实际上有两种可能的类型，一类是在较低层的节点进行的两个子节点的对调，这样的情况如果我们从第一层切分点，或者说从较高层的切分点看的话，s1和s2切分点左边的子串所包含的字符的种类个...
分类：
其他好文 时间：
2015-03-15 07:06:17
阅读次数：
117
