前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的。在ZooKeeper之前,我们对于协作服务大都使用消息中间件,随...
分类:
其他好文 时间:
2014-08-25 17:23:04
阅读次数:
297
第四步:配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息:修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号;修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication;修改Hadoo...
分类:
其他好文 时间:
2014-08-25 16:51:54
阅读次数:
267
Hadoop网盘 http://blog.csdn.net/wen294299195/article/details/38665081
分类:
其他好文 时间:
2014-08-25 13:06:34
阅读次数:
97
Hbase异常:org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apache.hadoop.hbase.client.HTable...
分类:
编程语言 时间:
2014-08-25 11:50:14
阅读次数:
196
在学习Hadoop之前,先了解一下大数据相关的知识:1.大数据背景大数据的产生:众所周知,随着信息社会的快速发展,信息量以爆发式的速度增长,这些信息包括来自互联网的大数据、大量传感器的机器数据、行业的内容数据。这些数据的特征表现为数据量大,一般为TB级或PB级甚至更大..
分类:
其他好文 时间:
2014-08-24 19:31:13
阅读次数:
203
WordCo-occurrence一直不知道该怎么正确翻译,单词相似度?还是共生单词?还是单词的共生矩阵?这在统计里面是很常用的文本处理算法,用来度量一组文档集中所有出现频率最接近的词组.嗯,其实是上下文词组,不是单词.算是一个比较常用的算法,可以衍生出其他的统计算法.能用来做推荐,因..
分类:
其他好文 时间:
2014-08-24 19:31:03
阅读次数:
205
HDFS简介HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。1.HDFS有以下几个主要特点:处理超大文件:存储的一个超大..
分类:
其他好文 时间:
2014-08-24 19:30:13
阅读次数:
275
Hadoop MapReduce编程入门案例简析...
分类:
其他好文 时间:
2014-08-24 18:06:12
阅读次数:
207
在虚拟机中用rhel6.5装了单机伪分布式的Hadoop,在宿主机中使用JAVA API开发程序,遇到了一些问题及解决:1、连接不上关掉iptables,最简单粗暴的方法设置策略,允许远程访问端口才是正确的解决方式,具体方式还要学习。注意:要在root下调用哦#> service iptables ...
分类:
其他好文 时间:
2014-08-24 16:34:52
阅读次数:
192