hadoop相关子系统： Apache Hadoop是Apache的一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构 那什么是MapReduce呢？ 举例来说，统计一系列的文档中的词汇。文档数量规模很大，有1000万个文档，英文单词的总数 ...
分类：
其他好文 时间：
2019-05-22 11:02:14
阅读次数：
90
做demo前需要先搭建Hadoop集群，并且有linux基础，可参考 https://www.cnblogs.com/linyufeng/p/10831240.html 1.引出问题 给一串数据，找出每年的每个月温度最高的2天。其中有可能包含着相同的数据。 2.分析 从肉眼去看，这么几条数据，人工也 ...
分类：
其他好文 时间：
2019-05-20 21:23:33
阅读次数：
148
一、简介 JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的wor ...
分类：
Web程序 时间：
2019-05-20 13:12:01
阅读次数：
116
学些MapRedcue主要是学习它的编程思想，在MR的编程模型中，主要思想是把对数据的运算流程分成map和reduce两个阶段： Map阶段：读取原始数据，形成key-value数据（map方法） Reduce阶段：把map阶段的key-value数据按照相同的key进行分组聚合（reduce方法） ...
分类：
其他好文 时间：
2019-05-19 11:43:12
阅读次数：
126
有问题的代码： 需要将compare两个参数的类型由object修改为WritableComparable才行。 在源码中暂时没找到调用逻辑┓( ´?` )┏ ...
分类：
编程语言 时间：
2019-05-18 00:31:20
阅读次数：
165
Hive架构hive架构如图所示，client跟driver交互，通过parser、planner、optimizer，最后转为mapreduce运行，具体步骤如下driver输入一条sql，会由parser转为抽象语法树AST，这个是没有任务元数据信息的语法树；语法分析器再把AST转为一个一个的QueryBlock，一个QueryBlock包含输入、输出、计算逻辑，也就是说一个子程序就是Quer
分类：
数据库 时间：
2019-05-17 09:20:50
阅读次数：
142
map/reduce Python内建了map()和reduce()函数。 如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。 我们先看map。map ...
分类：
编程语言 时间：
2019-05-16 14:00:44
阅读次数：
163
——————————————————面试题———————————————————————————— 第一套 1.hadoop运行原理 包括HDFS和Mapreduce两部分。 1）HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。 它存储的逻 ...
分类：
编程语言 时间：
2019-05-14 19:04:45
阅读次数：
139
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr ...
分类：
其他好文 时间：
2019-05-14 18:57:19
阅读次数：
196
可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中 一、保存结果到本地 方法1：调用hive标准输出，将查询结果写到指定的文件中 方法2：使用INSERT OVERWRITE LOCAL DIRECTORY结果到本地 ...
分类：
其他好文 时间：
2019-05-14 11:25:54
阅读次数：
457
