目录： 一、Nginx的相关配置，以及测试数据 二、Hadoop中创建使用目录 三、Hive的日志表创建，并同步到Hbase中 1)创建自增长ID的类,并添加到Hive环境中 2)在Hive中创建日志表 3)将Nginx的日志数据导入到Hive日志表中 方法一：将本...
分类：
其他好文 时间：
2014-08-24 14:04:32
阅读次数：
246
输入数据如下：以\t分隔
0-3岁育儿百科 书 23
0-5v液位传感器 5
0-5轴承 2
0-6个月奶粉 23
0-6个月奶粉c2c报告 23
0-6个月奶粉在线购物排名 23
0-6个月奶粉市场前景 23
0-6个月配方奶粉 23
0.001g电子天平 5
0.01t化铝炉 2
0.01吨熔铝合金炉 2
0.03吨化镁炉 ...
分类：
其他好文 时间：
2014-08-24 11:43:42
阅读次数：
171
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
新建cloudera-scm用户（做了分行，这个是一条linux命令，）[hadoop@mastercloudera-manager-5.1.0]$sudouseradd--system
--home=/opt/cloudera-manager-5.1.0/run/cloudera-scm-server
--no-create-home--shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm改/opt/cloude..
分类：
其他好文 时间：
2014-08-24 04:09:52
阅读次数：
274
这两天一直在安装hadoop 道路比较曲折，记录一下
在redha...
分类：
其他好文 时间：
2014-08-23 21:40:21
阅读次数：
214
hadoop eclipse plugin插件源码编译和Eclipse安装配置
分类：
系统相关 时间：
2014-08-23 18:59:21
阅读次数：
392
HBase是一个分布式的、面向列的开源数据库，该技术来源于Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBas...
分类：
其他好文 时间：
2014-08-23 17:37:31
阅读次数：
323
注意：以下操作基于Hadoop-1.2.1，Eclipse Luna 1、将hadoop eclipse插件的工程导入Eclipse。插件源码目录如下： D:\Lab\lib\hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin 2、配置工程依赖 3、准备ant的配置文...
分类：
系统相关 时间：
2014-08-23 16:58:21
阅读次数：
410
1. hbase0.98.0,0.95.2,0.94.9bug2013-06-11 21:51:22,199 ERROR [IPC Server handler 18 on 60000] master.HMaster: Region server ip-10-138-2-28.ec2.interna...
分类：
其他好文 时间：
2014-08-23 15:17:30
阅读次数：
277
