《大 数据技术丛书：Hadoop应用开发技术详解》共12章。第1～2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置；第3章是 MapReduce的使用入门，让读者了解整个开发过程；第4～5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O；第6章分析了 MapReduce的工...
分类：
其他好文 时间：
2014-07-24 11:25:42
阅读次数：
337
最近在写一些hadoop的运维工具，考虑到hadoop本身是java编写的，api比较方便，可以直接拿来就用准备用java来写。今天测试了几个fs相关的类。主要有FileStatus,FileSystem,DistributedFileSystem,DatanodeInfo,BlockLocationFileStatus是和文件的属性相关的类，比如文件的名称，..
分类：
编程语言 时间：
2014-07-24 10:49:36
阅读次数：
303
谁在用 Hadoop这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢？首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为，...
分类：
其他好文 时间：
2014-07-24 10:10:43
阅读次数：
206
本文编译方法所支持的hadoop环境是Hadoop-2.2.0，YARN是2.2.0，JAVA版本为1.8.0_11，操作系统Ubuntu14.04Spark1.0.0 源码下载地址：http://mirror.bit.edu.cn/apache/spark/spark-1.0.0/spark-1....
分类：
其他好文 时间：
2014-07-24 09:59:23
阅读次数：
448
因为搭建Hadoop环境的时候，所用的系统镜像是emi-centos-6.4-x86_64，是64位的，而hadoop是默认是32的安装包。这导致我们很多操作都会遇到这个问题（Java HotSpot(TM) 64-Bit Server VM warning: You have loaded lib...
分类：
其他好文 时间：
2014-07-24 05:04:28
阅读次数：
321
问： ????今天花一天时间给centos6.3 64bit的系统搭建了hadoop，顺便把hive和mysql也装上了，测试什么的都没问题。 但是，迷茫了，我怎么用它分析网站的日志。他的工作原理迷迷糊糊的， 而且我这个hadoop用的...
分类：
其他好文 时间：
2014-07-23 21:35:46
阅读次数：
332
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
王家林：Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及...
分类：
其他好文 时间：
2014-07-23 20:37:25
阅读次数：
377
云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序渐进中掌握Hadoop，直到能够直接进行企业级开始，是困惑很多对云计算感兴趣的朋友的核心问题，本课程正是为解决此问题而生，学习者只需要按照一步步的跟着视频动手操作，即可完全无痛掌握Hadoop企业级开发。同时本课程会对Hadoop的核...
分类：
其他好文 时间：
2014-07-23 20:22:50
阅读次数：
298
---讲师:王家林:Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引...
分类：
移动开发 时间：
2014-07-23 20:21:15
阅读次数：
404
