认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster(Mapreduce application master)：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程 ...
分类：
其他好文 时间：
2020-11-21 12:15:54
阅读次数：
6
大数据查询引擎Presto简介SQLonHadoop：Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala等SQLonHadoop的常见工具：Presto是什么：Presto是由Facebook开发的分布式
分类：
数据库 时间：
2020-11-21 12:01:11
阅读次数：
8
HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现，但二者有明显的区别：Google Bigtable基于GFS存储，通过MAPREDUCE处理存储的数据，通过chubby处理协同服务；而HB... ...
分类：
其他好文 时间：
2020-11-20 12:05:39
阅读次数：
11
[TOC] 设计模式 UML 统一建模语言 +代表public 代表private 代表protected 空心三角形+实线表示继承 空心三角形+虚线表示实现接口 关联关系用实线来表示 空心菱形+实线箭头表聚合关系 虚线箭头表依赖关系 http://note.youdao.com/noteshare ...
分类：
其他好文 时间：
2020-11-20 11:40:27
阅读次数：
4
漫画：什么是MapReduce？点击上方“程序员小灰”，选择“置顶公众号”有趣有内涵的文章第一时间送达！—————第二天—————————————————什么是MapReduce？MapReduce是一种编程模型，其理论来自Google公司发表的三篇论文（MapReduce，BigTable，GFS）之一，主要应用于海量数据的并行计算。MapReduce可以分成Map和Reduce两部分理解。1.
分类：
其他好文 时间：
2020-11-20 11:20:39
阅读次数：
5
yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
在应用中我们经常会用到一些统计数据，例如当前所有（或者满足某些条件）的用户数、所有用户的最大积分、用户的平均成绩等等，ThinkPHP为这些统计操作提供了一系列的内置方法，包括： www.96net.com.cn 获取用户数： Db::table('think_user')->count();// ...
分类：
数据库 时间：
2020-11-11 16:46:31
阅读次数：
21
17. Iterator（迭代器） 17.1 定义 提供一种方法访问一个容器对象中各个元素，而又不需暴露该对象的内部细节 17.2 优点 ■它支持以不同的方式遍历一个聚合对象。 ■迭代器简化了聚合类。 ■在同一个聚合上可以有多个遍历。 ■在迭代器模式中，增加新的聚合类和迭代器类都很方便，无须修改原有 ...
分类：
其他好文 时间：
2020-11-08 17:57:34
阅读次数：
33
Flume概述官方文档：https://flume.apache.org/documentation.htmlFlume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性，具有可调整的可靠性机制和许多故障切换和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume架构及核心组件F
分类：
Web程序 时间：
2020-11-08 16:36:50
阅读次数：
26
