声明：1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。
2）本小实验工作环境为Ubuntu操作系统，hadoop1-2-1，jdk1.8.0。
3）统计词频工作在单节点的伪分布上，至于真正实际集群的配置操作还没有达到，希望能够由本文抛砖引玉。（一）Hadoop的配置修正 网上有很多...
分类：
其他好文 时间：
2014-05-05 21:54:47
阅读次数：
456
在Hadoop集群环境下安装Mahout。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.1 & Mahout
0.91、简介mahout项目主页：https://mahout.apache.org/下载二进制包，上传到服务器。2、安装用集群环境用户安装，解压二进制包。...
分类：
其他好文 时间：
2014-05-05 21:35:23
阅读次数：
429
今天在编写一个脚本的时候，发现一个比较奇怪的问题：就是在使用cp拷贝当前目录下所有文件到目标目录的时候，源和目标目录大小不同。原来一直没有留意有这样的问题，后来查了些资料，才知道以前一直使用的格式有误，。一、预备cp就是拷贝，最简单的使用方式就是：cp
oldfile newfile但这样只能拷贝文...
分类：
其他好文 时间：
2014-05-05 21:27:07
阅读次数：
369
用xcode来开发cocos2dx，结果发现一个很纠结的问题，如果我一旦修改了一个Lua文件，我必须clean之后再build，否则修改的Lua文件不会体现出来。这是一个很令纠结的结果，特别是我要进行调试的时候，在网上搜索了一圈，发现xcode原来可以提供一个build phase的功能，允许在build中间执行一些脚本，而这个时候只要将脚本文件touch一下就可以解决问题，但是比较奇怪的是，如果...
分类：
其他好文 时间：
2014-05-05 13:16:20
阅读次数：
394
在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下：
- 下载安装文件
最新的cygwin安装文件setup.exe下载地址在这里：http://cygwin.com/install.html。用最新版本的cygwin就可以，我用的是2.774版本的安装程序。
- 安装cyg...
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中，我们一共分了8步，其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器：我们可以发现，其中有两个计数器：Combineoutputrecords和Combineinputrecords，他们的计数都是0，这是..
分类：
其他好文 时间：
2014-05-03 15:00:55
阅读次数：
323
本文主要介绍了MapReduce中的自定义计数器的相关内容。在上次的单词统计例子中，我们可以看到MapReduce在执行过程中会有很多的控制台输出信息，其中有一个很关键的内容：计数器。如下图：可以看到最上方的关键字：Counters，这就表示计数器。在这里，只有一个制表符缩进的表示..
分类：
其他好文 时间：
2014-05-03 14:56:19
阅读次数：
336
转眼就到五一了，依旧是宅了几天，上午看看NBA，晚上看看斯诺克，很舒服的小日子，话说问题都是生活中碰到的，今天算是深有体会，上午看NBA无意间发现手机看比用电脑要快好多，鉴于路由器老是不太稳定，所以决定用笔记本把网分出来试试，相信这种小把戏很多人都玩过吧，问题就..
#!/bin/bash#thisscriptisonlyforCentOS6#checktheOSplatform=`uname-i`if[$platform!="x86_64"];thenecho"thisscriptisonlyfor64bitOperatingSystem!"exit1fiecho"theplatformisok"version=`lsb_release-r|awk‘{printsubstr($2,1,1)}‘`if[$version!=6];thenecho"thisscriptiso..
分类：
系统相关 时间：
2014-05-03 14:51:00
阅读次数：
415
