环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类:
其他好文 时间:
2014-05-06 08:59:21
阅读次数:
368
namenode 和 secondaryNamenode
运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop
1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:
其他好文 时间:
2014-05-06 01:08:13
阅读次数:
388
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类:
其他好文 时间:
2014-05-06 00:52:59
阅读次数:
491
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period
1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:
其他好文 时间:
2014-05-06 00:26:48
阅读次数:
429
在windows下通过安装cygwin模拟linux环境,然后再安装hadoop,是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下:
- 下载安装文件
最新的cygwin安装文件setup.exe下载地址在这里:http://cygwin.com/install.html。用最新版本的cygwin就可以,我用的是2.774版本的安装程序。
- 安装cyg...
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
昨天看到微信SuperSofter写了一篇文章,有感而发,以便备注。
这是一种典型的C2B模式。阿里不只是在与腾讯拼移动,它的电商本土业务也在稳步推进。最近一个里程碑事件是,阿里包下了美的、九阳、苏泊尔等十个品牌的12条生产线,专为天猫特供小家电。阿里通过所掌握的数据以及分析成果,去指导这些生产线的研发、设计、生产、定价。
C2B与规模化之间的矛盾
C2B反向定制模式...
分类:
其他好文 时间:
2014-05-04 00:15:15
阅读次数:
289
近日浏览csdn博客,发先一本自编的分享自编《Python基础教程》无水印文字版,推荐读之,内容朴实无华无拖泥带水,板式清晰,是python入门和初学者必藏教程。
下载地址
http://download.csdn.net/detail/u014036026/7188403...
分类:
编程语言 时间:
2014-05-03 17:06:16
阅读次数:
407
centos 配置hadoop 2.2. 非常全面...
分类:
其他好文 时间:
2014-05-03 16:39:17
阅读次数:
369
本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中,我们一共分了8步,其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器:我们可以发现,其中有两个计数器:Combineoutputrecords和Combineinputrecords,他们的计数都是0,这是..
分类:
其他好文 时间:
2014-05-03 15:00:55
阅读次数:
323