测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类：
其他好文 时间：
2014-06-03 06:26:17
阅读次数：
277
1. 数据统计的需求
互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。
网站站点统计工具无外乎有以下一些功能：
1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展示出来，如最近一周、最近一个月等。
2）IP来源信息统计：记录各个来源IP下的访问PV...
分类：
其他好文 时间：
2014-06-03 01:33:36
阅读次数：
226
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程...
分类：
其他好文 时间：
2014-06-02 22:20:44
阅读次数：
377
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
Spark1.0出来了，变化还是挺大的，文档比以前齐全了，RDD支持的操作比以前多了一些，Spark on
yarn功能我居然跑通了。但是最最重要的就是多了一个Spark
SQL的功能，它能对RDD进行Sql操作，目前它只是一个alpha版本，喜欢尝鲜的同志们进来看看吧，下面是它的官网的翻译。Spa...
分类：
数据库 时间：
2014-06-02 01:27:13
阅读次数：
389
写在前面一：
本文总结基于HBase的SQL查询系统——Salesforce phoenix
写在前面二：
环境说明：
一、什么是Phoenix
摘自官网：
Phoenix是一个提供hbase的sql操作的框架，Phoenix是构建在HBase之上的一个SQL中间层。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JD...
分类：
数据库 时间：
2014-06-01 14:05:11
阅读次数：
403
就在昨天，北京时间5月30日20点多。Spark 1.0.0终于发布了：Spark 1.0.0 released
根据官网描述，Spark 1.0.0支持SQL编写：Spark SQL Programming Guide
个人觉得这个功能对Hive的市场的影响很小，但对Shark冲击很大，就像win7和winXP的关系，自相残杀嘛?
这么着急的发布1.x 版是商业行为还是货真价实的体现，让我们拭目以待吧~~~~
本文是CSDN-撸大湿原创，如要转载请注明出处，谢谢：http://blog.csdn.net...
分类：
其他好文 时间：
2014-06-01 08:55:43
阅读次数：
460
Java Client API
OverviewHBase是用Java写的，支持用编程语言来动态操作管理数据库，能用命令行做的都能够用API来做。主要的使用步骤例如以下：1.创建一个
Configuration 对象–从 HDFS 对象中调用 Configuration–加入 HBase 属性Con...
分类：
编程语言 时间：
2014-05-31 20:13:17
阅读次数：
370
YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因为应用程序到达内存限制，会发生OOM，就会被杀死。CPU资源一般用Cgroups进行资源控制，Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu，内存，io...
分类：
其他好文 时间：
2014-05-31 18:47:58
阅读次数：
264
