1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
hadoop编译 hadoop2.2.0 64 位编译 CentOS6.5、Hadoop-2.2.0、64 位的编译...
分类：
其他好文 时间：
2014-08-13 13:04:26
阅读次数：
227
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上） 原材料：在Oracle官网下载的32位JDK： 说明： 1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning...
分类：
其他好文 时间：
2014-08-13 12:58:56
阅读次数：
296
安装环境：系统：Ubuntu 12.10hadoop：0.23.6jdk：sun 1.7.0_21安装步骤：一.安装JDK安装 orcale jdk，并且配置环境以及设置成默认（略）检查jdk是否正确安装和配置在主目录下执行java -version如果出现下面类似结果则okhadoop@ubunt...
分类：
其他好文 时间：
2014-08-12 21:59:24
阅读次数：
404
Pig Latin UDF语句
REGISTER 在Pig运行时环境中注册一个JAR文件
DEFINE 为UDF、流式脚本或命令规范新建别名
Pig Latin命令类型
kill 中止某个MapReduce任务
exec 在一个新的Grunt shell程序中以批处理模式运行一个脚本
run 在当前Grunt外壳程序中运行程序
quit 退出解释器
...
分类：
其他好文 时间：
2014-08-12 19:06:04
阅读次数：
362
Hive 运行架构
由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；
构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；
设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：
使用HQL作为查询接口；
使用HDFS作为存储底层；...
分类：
其他好文 时间：
2014-08-12 19:05:44
阅读次数：
314
今天没事干，看了以下Hadoop中的MultipleOutput使用，出现错误. 错误信息： 14/08/12 12:44:02 WARN util.NativeCodeLoader: Unable to load native-ha：oop library for your platform... using builtin-java c...
分类：
其他好文 时间：
2014-08-12 17:46:24
阅读次数：
233
测试环境介绍：Hadoop1.0.3升级到Hadoop2.4.1当前老环境（三副本环境）：Namenode192.168.1.10Datanode192.168.1.11（SecondNamenode）Datanode192.168.1.12Datanode192.168.1.13由于Hadoop2.4.1支持HA集群，所有需要在增加一台Namenode机器新环境规划如下：Namenode192.168.1...
分类：
其他好文 时间：
2014-08-12 17:35:54
阅读次数：
299
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
HBaseHelperpackage util;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HT...
分类：
其他好文 时间：
2014-08-12 16:24:54
阅读次数：
327
