之前在北风网培训过大数据，培训质量还是非常不错的，现在分享出来一部分给大家看下，有需要更多的可以联系QQ：375537364 链接：http://pan.baidu.com/s/1bPl5aY 密码：ymmi Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapR ...
分类：
其他好文 时间：
2016-10-09 20:11:10
阅读次数：
143
1,概述MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce相当于关系数据库中的group by。使用MapR ...
分类：
数据库 时间：
2016-09-29 13:26:14
阅读次数：
191
前记(http://blog.jobbole.com/91913/) 公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦 ...
分类：
其他好文 时间：
2016-09-19 21:00:20
阅读次数：
199
文件合并和去重： 可以把每一行文本作为key，value为随意值。 数字排序： MapReduce过程中就有排序，它是按照key值进行排序的，如果key为封装int的IntWritable类型，那么MapReduce按照数字大小对key排序，如果key为封装为String的Text类型，那么MapR ...
分类：
其他好文 时间：
2016-08-12 16:33:08
阅读次数：
104
针对Windows 32位和64位的系统对应有多个版本的 Hive ODBC Connector, 在安装的过程中，版本必须完全匹配（即：32位的 connector 只能在32位的系统运行，64位的 connector 只能在 64位系统运行） 参考资料： http://doc.mapr.com/ ...
分类：
数据库 时间：
2016-08-11 22:43:36
阅读次数：
2348
http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html 前记 公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architectu ...
分类：
其他好文 时间：
2016-08-10 16:08:33
阅读次数：
214
Hadoop研发在java环境的拓展 一 背景 由于一直使用hadoop streaming形式编写mapreduce程序，所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发，本次实验使用window系统，maven打包，centos系统mapr环境运行。 二 步骤 1 ...
分类：
编程语言 时间：
2016-07-21 15:00:04
阅读次数：
209
我最近研究了hive的相关技术，有点心得，这里和大家分享下。
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性：
1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapR...
分类：
其他好文 时间：
2016-07-15 21:03:01
阅读次数：
126
MapR的分布式集群安装过程还是很艰难的，远远没有计划中的简单。本人总结安装配置，由于集群有很多机器，手动每台配置是很累的，编写了一个自动化配置脚本，下面以脚本为主线叙述（脚本并不完善，后续继续完善中）。 编写脚本需要shell基础的，还要掌握awk和sed等统计手段为佳。操作系统是CentOS7。 ...
分类：
系统相关 时间：
2016-07-11 18:33:26
阅读次数：
183
MapReduce的体系结构 Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上TB的数据集。 采用MapReduce架构实现的程序能够在大量的普通配置的计算机构成的集群中实现并行化操作。MapR... ...
分类：
其他好文 时间：
2016-05-11 10:51:44
阅读次数：
161
