前言 说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggregations)，聚合功能为ES注入了统计分析的血统，使用户在面对大数据提取统计指标时变得游刃有余。同样的工作，你在Hadoop中可能需要写mapreduce或Hive，在mongo中你必须得用大段的mapreduc ...
分类：
其他好文 时间：
2018-08-22 20:40:39
阅读次数：
160
摘于：http://my.oschina.net/leejun2005/blog/135085 目录：[ - ] 1、认识 PriorityQueue 2、应用：求 Top K 大/小 的元素 3、PriorityQueue 在 hadoop 中的应用： 4、REF： 1、认识 PriorityQu ...
分类：
其他好文 时间：
2018-08-14 22:51:03
阅读次数：
335
含义：实质是将数据分成不同的文件。hive中的分桶和hadoop中的reduce个数相同。 首先设置采用分桶： hive>set hive.enforce.bucketing=true; hive>create table buckets_users(id int,name string) clus ...
分类：
其他好文 时间：
2018-08-14 14:24:55
阅读次数：
177
一、要了解HDFS客户端写数据的过程，首先需要明白namenode和datanode namenode:主要保存数据的元数据，它维护着文件系统树及整棵树内所有的文件和目录，说的直白点就是文件目录的管理以及Block的管理，体现的是一个管理者的身份； datanode:存储并检索数据块的作用，也就是说 ...
分类：
其他好文 时间：
2018-08-12 20:15:29
阅读次数：
230
并发提升 java 中Stream类似于hadoop中的数据分析的思路，只不过hadoop大，用的是多台机算机的计算生态，而java stream使用的单台计算机中的多cpu分析一块数据的过程。通过使用parrallel方法实现并行任务，通过map方法实现计算任务，通过findAny，count等方 ...
分类：
编程语言 时间：
2018-08-10 21:26:59
阅读次数：
138
序列化 序列化（serialization）是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化(deserialization)是指将字节流转回结构化对象的逆过程。序列化在分布式数据处理的两大领域经常出现：进程间通信和永久存储在Hadoop中，系统中多个节点上进程间的 ...
分类：
其他好文 时间：
2018-08-03 01:06:10
阅读次数：
131
本次主要是简单的对Hadoop中HDFS中文件的操作，可自行先添加文件，或者直接上传文件操作实验。 去不代码如下： ...
分类：
编程语言 时间：
2018-07-16 19:28:07
阅读次数：
140
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:20:10
阅读次数：
194
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:18:54
阅读次数：
193
什么是MapReduce Hadoop中的MapReduce是一个简单的软件框架，基于它写出的应用程序可以运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级数据 MapReduce的起源 源于谷歌在2004年发表的一篇MapReduce的论文，而Hadoop Reduce实际上 ...
分类：
其他好文 时间：
2018-06-30 12:58:43
阅读次数：
158
