本文编译方法所支持的hadoop环境是Hadoop-2.2.0，YARN是2.2.0，JAVA版本为1.8.0_11，操作系统Ubuntu14.04Spark1.0.0 源码下载地址：http://mirror.bit.edu.cn/apache/spark/spark-1.0.0/spark-1....
分类：
其他好文 时间：
2014-07-24 09:59:23
阅读次数：
448
因为搭建Hadoop环境的时候，所用的系统镜像是emi-centos-6.4-x86_64，是64位的，而hadoop是默认是32的安装包。这导致我们很多操作都会遇到这个问题（Java HotSpot(TM) 64-Bit Server VM warning: You have loaded lib...
分类：
其他好文 时间：
2014-07-24 05:04:28
阅读次数：
321
开始看编程珠玑了，第一个就是进行磁盘排序的问题，想到了也只是归并排序，但题目要求1M内存，这个算法不可行。编程珠玑写到使用位图（分两次操作读写可以成功实现，小于内存1M），详情看编程珠玑第一章。题目：给定10^7数据，对大数据进行排序。要求内存只有1M,时间可以接受，较短。解决方法：1.多路归并.....
分类：
其他好文 时间：
2014-07-23 22:09:47
阅读次数：
264
问： ????今天花一天时间给centos6.3 64bit的系统搭建了hadoop，顺便把hive和mysql也装上了，测试什么的都没问题。 但是，迷茫了，我怎么用它分析网站的日志。他的工作原理迷迷糊糊的， 而且我这个hadoop用的...
分类：
其他好文 时间：
2014-07-23 21:35:46
阅读次数：
332
Windowsazure功能介绍随之云计算时代的到来，让很多人都感觉在云里雾里。云到底是什么概念呢？我相信没有人能给一个合理的解释，反正我到目前理解是，公有云是托管在数据中心的服务器，前提是数据中心提供所有的软硬件服务，但是这样的解释也不完全对，也不完全错。WindowsAzur..
以下板块的实践着重于如何通过自动化来提升效率，通过自助服务和授权控制，并对基础设施提供统一的管理，这些实践中使用的重要组件为ServiceManager、Orchestrator、AppController以及VirtualMachineManager。一、微软私有云中的自动化自助服务关于微软私有云中的自动化自助服..
分类：
其他好文 时间：
2014-07-23 21:24:36
阅读次数：
289
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
王家林：Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及...
分类：
其他好文 时间：
2014-07-23 20:37:25
阅读次数：
377
云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序渐进中掌握Hadoop，直到能够直接进行企业级开始，是困惑很多对云计算感兴趣的朋友的核心问题，本课程正是为解决此问题而生，学习者只需要按照一步步的跟着视频动手操作，即可完全无痛掌握Hadoop企业级开发。同时本课程会对Hadoop的核...
分类：
其他好文 时间：
2014-07-23 20:22:50
阅读次数：
298
---讲师:王家林:Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引...
分类：
移动开发 时间：
2014-07-23 20:21:15
阅读次数：
404
