鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦，也可以用这种办法从一个节点通过ssh进入另一个节点。。。设要使master进入slave是免密码的，则可以在master（ip为192.168.169.9）中如下操作：命令：ssh-keygen -t rsa 然后一路回车（该命令...
分类：
其他好文 时间：
2014-06-22 23:31:51
阅读次数：
332
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
摘要：MapReduce程序进行单词计数。
关键词：MapReduce程序 单词计数...
分类：
其他好文 时间：
2014-06-22 19:59:49
阅读次数：
177
DASH Basics: MPD and Segments
Let’s quickly summarize how a DASH content is made of:
MPD: an XML document describing where the various media resources present in the content are located. The med...
分类：
其他好文 时间：
2014-06-22 19:30:15
阅读次数：
232
MapReduce Application与文件数、分块大小、用户指定的Mapper数有关，但具体的对应关系是什么？本文将进行分析...
分类：
其他好文 时间：
2014-06-22 17:54:40
阅读次数：
138
摘要：MapReduce程序处理专利数据集。
关键词：MapReduce程序 专利数据集...
分类：
其他好文 时间：
2014-06-22 17:03:44
阅读次数：
188
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
Hama学习笔记
1. Hama定义
Hama是基于HDFS上的BSP模型实现，其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上，只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程，即可运行PageRank程序。
2. MapReduce与BSP区别
执行机制：MapR...
分类：
其他好文 时间：
2014-06-21 23:12:18
阅读次数：
268
摘要：MapReduce程序进行数据去重。
关键词：MapReduce 数据去重...
分类：
其他好文 时间：
2014-06-21 22:35:28
阅读次数：
237
从数据爆炸开始。。。
1.1 第三次工业革命
第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。
第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。
第三次：20世界四五十年代末，以高新技术为代表的新科学技术革命，以原子能、航天技术和电子计算机
1.2 信息技术发展...
分类：
其他好文 时间：
2014-06-21 21:12:22
阅读次数：
399
