Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
bin/hive 提示"xxx Illegal Hadoop Version: Unknown (expected A.B.* format)"类似这样的问题，经过查看代码 public static String getMajorVersion() { String vers = Versi...
分类：
其他好文 时间：
2014-08-03 17:46:15
阅读次数：
837
前言：配置mahout花了挺多时间的，主要是在一些小的问题上浪费了很多时间。1.下载mahout 下载地址：http://mahout.apache.org 我下载的最新版：mahout-distribution-0.92.把mahout解压到你想存放的文档，我是放在/Users/jia/Docu....
分类：
其他好文 时间：
2014-08-03 15:11:55
阅读次数：
415
此篇是在零基础学习hadoop到上手工作线路指导（初级篇）的基础，一个继续总结。 五一假期：在写点内容，也算是总结。上面我们会了基本的编程，我们需要对hadoop有一个更深的理解： hadoop分为hadoop1.X、hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成...
分类：
其他好文 时间：
2014-08-03 12:44:25
阅读次数：
289
直接上图片 web端用spring mvc4.0.5 hadoop+hbase 伪分布实验环境 已实现用户注册 登陆 网盘管理：上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹 仿百度文库浏览文档 和下载文件功能。...
分类：
其他好文 时间：
2014-08-03 10:24:25
阅读次数：
269
直接上图片web端用springmvc4.0.5hadoop+hbase伪分布实验环境已实现用户注册登陆网盘管理：上传文件创建文件夹修改文件及文件夹分享文件及文件夹删除文件及文件夹仿百度文库浏览文档和下载文件功能。关注用户管理：关注和取消关注用户文件分享：分享列表查看
分类：
其他好文 时间：
2014-08-03 08:00:15
阅读次数：
224
某些特定场合我们会经常遇到yuv420格式的视频文件，这种视频帧无法直接用于opencv，故而，需要进行格式转换；幸运的是，opencv提供了rgb到yuv420的格式转换函数；下面给出基本用法；
函数1：读取avi格式的视频文件，转换成Yuv420格式，并写入文件；
void WriteYuv()
{
cv::VideoCapture vc;
bool flag = vc.ope...
分类：
其他好文 时间：
2014-08-02 23:32:14
阅读次数：
1266
Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split进一步拆成。 2.映射(map)：根据输入的进生处理， 3.合并(combiner)：合并中间相两同的key....
分类：
其他好文 时间：
2014-08-02 23:20:14
阅读次数：
415
1.Hadoop和MapReduce概念Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。2.Hadoop框架借助Hadoop 框架及云计算核心技术MapReduce 来实现数据的计算和存储，并且将HDFS 分布式文件系统...
分类：
其他好文 时间：
2014-08-02 20:45:54
阅读次数：
252
