1.启动hadoop守护进程 bin/hadoop start-all.sh2.在hadoop的bin目录下建立一个input文件夹 mkdire input3.进入input目录之后，在input目录下新建两个文本文件，并想其写入内容echo "hello excuse me fuck thank...
分类：
其他好文 时间：
2014-07-18 23:39:00
阅读次数：
350
测试hadoop版本：2.4 Map端聚合的应用场景：当我们只关心所有数据中的部分数据时，并且数据可以放入内存中。使用的好处：可以大大减小网络数据的传输量，提高效率；一般编程思路：在Mapper的map函数中读入所有数据，然后添加到一个List（队列）中，然后在cleanup函数中对list进行处理，输出我们关系的少量数据。实例：在map函数中使用空格分隔每行数据，然后把每个单词添加到一个堆栈中，...
分类：
其他好文 时间：
2014-07-18 23:00:49
阅读次数：
283
Hadoop代码测试版本：2.4应用场景：在Hadoop编程的时候，有时我们在进行我们算法逻辑的时候想附带了解下数据的一些特性，比如全部数据的记录数有多少，map的输出有多少等等信息（这些是在算法运行完毕后，直接有的），就可以使用计数器Counter。如果是针对很特定的数据的一些统计，比如统计以1开头的所有记录数等等信息，这时就需要自定义Counter。自定义Counter有两种方式，第一种，定义...
分类：
其他好文 时间：
2014-07-18 22:29:12
阅读次数：
277
是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
使用以下命令安装Elicpse插件hadoop-maven-plugins：$ cd ${HADOOP_HOME}/hadoop-maven-plugins$ mvn install然后生成Eclipse工程文件：$ cd ${HADOOP_HOME}$ mvn eclipse:eclipse -D...
分类：
系统相关 时间：
2014-07-18 16:37:24
阅读次数：
302
destpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/cdhlib/'jarpath='/home/hadoop/soft/hadoop-2.0.0-cdh4.5.0/share/hadoop/'search='jar'iterdir(){ cd $1 ...
分类：
其他好文 时间：
2014-07-18 16:35:53
阅读次数：
225
今天研究了下zookeeper，先跟大家分项下部署过程~~相对于hadoop其他软件来说，zookeeper的安装还是很简单的环境说明：虚拟机3台IP地址hostname192.168.192.136namenode192.168.192.137datanode1192.168.192.138datanode2zookeeper-3.4.6.tar准备。在每个虚拟机上配置host:192.1..
分类：
其他好文 时间：
2014-07-17 15:30:20
阅读次数：
259
Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：/** Use {@link Object#hashCode()} to partition. */
p...
分类：
其他好文 时间：
2014-07-17 15:06:56
阅读次数：
315
作为企业Hadoop应用的核心产品之一，Hive承载着公司95%以上的离线统计，甚至很多企业里的离线统计全由Hive完成；Hive在企业云计算平台发挥的作用和影响越来越大，如何优化提速已经显得至关重要；Hive作业的规模决定着优化层级，一个Hive作业的优化和一万个Hive作业的优化截然不同；后续文...
分类：
其他好文 时间：
2014-07-17 13:13:40
阅读次数：
266
<html xmlns:v="urn:schemas-microsoft-com:vml"
xmlns:o="urn:schemas-microsoft-com:office:office"
xmlns:w="urn:schemas-microsoft-com:office:word"
xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882"
xml...
分类：
其他好文 时间：
2014-07-17 11:02:01
阅读次数：
298
