“在古时候,人们用牛来拉重物。当一头牛拉不动一根圆木时,人们从来没有考虑过要想方设法培育出一种更强壮的牛。同理,我们也不该想方设法打造什么超级计算机,而应该千方百计综合利用更多计算机来解决问题。” ——Grace Hopper 1.1数据爆炸 随着互联网的发展,积累的数据量在不断增加,呈现出数据爆炸 ...
分类:
其他好文 时间:
2018-04-01 18:54:52
阅读次数:
159
博主前面因为太忙没有时间更新博文,从今天开始博主会用博文记录自己学习Hadoop的整个过程,欢迎感兴趣的朋友关注! Hadoop是什么? Hadoop是一个开源框架,可编写和运行分布式应用处理大规模数据。分布式计算是一个宽泛并且不断变化的领域,Hadoop的优势在于: 1) 方便:Hadoop运行在 ...
分类:
其他好文 时间:
2018-01-21 12:35:47
阅读次数:
291
1,Hadoop的组成 两个核心组成 HDFS: 分布式文件系统,存储海量的数据 MapReduce: 并行处理框架,实现任务分解和调度 2,HDFS HDFS中的文件被分成块进行存储,默认的块大小为64MB, 块是文件存储处理的逻辑单元 HDFS中有两类节点 NameNode和DataNode 2 ...
分类:
其他好文 时间:
2017-12-23 19:08:04
阅读次数:
159
导读: 第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习 经常有初学 ...
分类:
其他好文 时间:
2017-10-12 19:06:15
阅读次数:
180
今日根据《hadoop权威指南》和炼数成金的黄志洪老师的视频,了解了hadoop的基本原理、基本构架和简单实现。 hadoop本身是一个分布式文件系统(HDFS)和计算框架(MapReduce);YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 ...
分类:
其他好文 时间:
2017-07-23 00:53:07
阅读次数:
119
转载自博主:上善若水任方圆http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的 ...
分类:
其他好文 时间:
2017-05-26 13:10:43
阅读次数:
167
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解 ...
分类:
其他好文 时间:
2017-03-16 17:19:56
阅读次数:
142
P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时。写入数据则会消耗更多时间。解决方法是从多个硬盘上读取,试想,若当前有100个盘,每个盘存储1%数据,则 ...
分类:
其他好文 时间:
2017-01-20 14:23:12
阅读次数:
208
HDFS是Hadoop的分布式文件系统,但是分布式文件系统不只是HDFS,如Google的GFS,Spark的Tachyon,他们都是分布式文件系统。在这里谈到分布式文件系统,我们一定要和传统的文件系统进行区分。传统的文件系统如Windows的NTFS,FAT32和FAT16,Linux的ext3,ext4,它们都是基于裸设..
分类:
其他好文 时间:
2016-12-03 02:44:43
阅读次数:
202
1、使用hadoop命令查看hdfs下文件 [root@localhost hadoop-2.7.3]# hadoop fs -ls hdfs://192.168.36.134:9000/ 开始在secureCRT上执行这条命令失败,使用netstat -nltp命令查看监听的9000端口,是127 ...
分类:
其他好文 时间:
2016-10-06 22:28:57
阅读次数:
156