经过一段时间的配置，Hadoop环境总算运行起来了，但是呢，为何主节点就没有跑tasktracker和datanode进程，slave节点也没有跑secondary进程，Hadoop是如何控制的呢？经过看权威指南（267页）和跟群里同学讨论，还有自己测试，最终确定：tasktracker和datan...
分类：
其他好文 时间：
2014-07-19 20:19:01
阅读次数：
239
本文为本人原创，首发到炼数成金http://f.dataguru.cn/thread-138720-1-1.html。情况是这样的，我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群，相信很多人也跟我差不多，所以现在把我的低配置集群经验拿出来写一下好了。我的配备：1）五六年前的赛扬单核处理器...
分类：
其他好文 时间：
2014-07-19 20:07:37
阅读次数：
294
1.启动hadoop守护进程 bin/hadoop start-all.sh2.在hadoop的bin目录下建立一个input文件夹 mkdire input3.进入input目录之后，在input目录下新建两个文本文件，并想其写入内容echo "hello excuse me fuck thank...
分类：
其他好文 时间：
2014-07-18 23:39:00
阅读次数：
350
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
Hadoop代码测试版本：2.4应用场景：在Hadoop编程的时候，有时我们在进行我们算法逻辑的时候想附带了解下数据的一些特性，比如全部数据的记录数有多少，map的输出有多少等等信息（这些是在算法运行完毕后，直接有的），就可以使用计数器Counter。如果是针对很特定的数据的一些统计，比如统计以1开头的所有记录数等等信息，这时就需要自定义Counter。自定义Counter有两种方式，第一种，定义...
分类：
其他好文 时间：
2014-07-18 22:29:12
阅读次数：
277
安装环境：
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备：
1.
Jdk环境已安装：版本为1.6以上
2.
hadoop环境已安装：完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类：
其他好文 时间：
2014-07-18 22:08:46
阅读次数：
441
申明：OpenCV是计算机视觉库，所以用在图片或视频处理上，故播放的视频暂时没有声音
软件：用OpenCV制作视频控制播放器（无声音）
功能说明：新建播放窗口，添加进度条可以拖动视频播放。
流程图：
功能说明：
1. 新建进度条 cv...
分类：
其他好文 时间：
2014-07-18 21:29:42
阅读次数：
242
是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
作为企业Hadoop应用的核心产品之一，Hive承载着公司95%以上的离线统计，甚至很多企业里的离线统计全由Hive完成；Hive在企业云计算平台发挥的作用和影响越来越大，如何优化提速已经显得至关重要；Hive作业的规模决定着优化层级，一个Hive作业的优化和一万个Hive作业的优化截然不同；后续文...
分类：
其他好文 时间：
2014-07-17 13:13:40
阅读次数：
266
<html xmlns:v="urn:schemas-microsoft-com:vml"
xmlns:o="urn:schemas-microsoft-com:office:office"
xmlns:w="urn:schemas-microsoft-com:office:word"
xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882"
xml...
分类：
其他好文 时间：
2014-07-17 11:02:01
阅读次数：
298
