Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
bin/hive 提示"xxx Illegal Hadoop Version: Unknown (expected A.B.* format)"类似这样的问题，经过查看代码 public static String getMajorVersion() { String vers = Versi...
分类：
其他好文 时间：
2014-08-03 17:46:15
阅读次数：
837
此篇是在零基础学习hadoop到上手工作线路指导（初级篇）的基础，一个继续总结。 五一假期：在写点内容，也算是总结。上面我们会了基本的编程，我们需要对hadoop有一个更深的理解： hadoop分为hadoop1.X、hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成...
分类：
其他好文 时间：
2014-08-03 12:44:25
阅读次数：
289
直接上图片 web端用spring mvc4.0.5 hadoop+hbase 伪分布实验环境 已实现用户注册 登陆 网盘管理：上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹 仿百度文库浏览文档 和下载文件功能。...
分类：
其他好文 时间：
2014-08-03 10:24:25
阅读次数：
269
直接上图片web端用springmvc4.0.5hadoop+hbase伪分布实验环境已实现用户注册登陆网盘管理：上传文件创建文件夹修改文件及文件夹分享文件及文件夹删除文件及文件夹仿百度文库浏览文档和下载文件功能。关注用户管理：关注和取消关注用户文件分享：分享列表查看
分类：
其他好文 时间：
2014-08-03 08:00:15
阅读次数：
224
Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split进一步拆成。 2.映射(map)：根据输入的进生处理， 3.合并(combiner)：合并中间相两同的key....
分类：
其他好文 时间：
2014-08-02 23:20:14
阅读次数：
415
1.Hadoop和MapReduce概念Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。2.Hadoop框架借助Hadoop 框架及云计算核心技术MapReduce 来实现数据的计算和存储，并且将HDFS 分布式文件系统...
分类：
其他好文 时间：
2014-08-02 20:45:54
阅读次数：
252
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步...
分类：
其他好文 时间：
2014-08-02 18:22:43
阅读次数：
247
Hadoop与Hadoop生态系统的区别Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可...
分类：
其他好文 时间：
2014-08-02 15:27:03
阅读次数：
215
