TheBig Data Zoneis presented bySplunk, the maker of
data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk
Web Framework.Liv...
分类:
其他好文 时间:
2014-05-08 19:31:55
阅读次数:
596
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.Text;import org.ap...
分类:
其他好文 时间:
2014-05-08 11:27:24
阅读次数:
309
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) →
list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:
其他好文 时间:
2014-05-08 09:37:49
阅读次数:
472
之前一直做docker的实验,可是遇到了好多问题,在ubuntu 12.04
环境下很难模拟出真实机器的环境,(尤其是hosts文件无法修改,服务无法启动。。。),就转战vagrant,放弃了一段时间。最近docker 0.10
发布加上ubuntu14.04 的感觉docker用起来和顺手多了,所...
分类:
其他好文 时间:
2014-05-08 01:35:00
阅读次数:
346
默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ,sudo apt-get
install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类:
数据库 时间:
2014-05-07 20:40:00
阅读次数:
554
1.登录PL/SQL Developer这里省略Oracle数据库和PL/SQL
Developer的安装步骤,注意在安装PL/SQL Developer软件时,不要安装在Program Files (x86)目录下,不然无法启动PL/SQL
Developer。奇怪这里为什么选择不到数据库的TNS...
分类:
数据库 时间:
2014-05-07 14:03:54
阅读次数:
467
运行Rational Rose的时候如果出现这样的错误,先检查环境变量有没有common的地址,如果没有直接配上就OK;配置如下:D:\Program Files\Rational\Common;
我的win7直接使用大写的Common路径没有出现下面资料说的问题;如果有的可以按照下面资料再次修改下;
下面资料来自于网络:
安装完以后提示找不到 suite objects.d...
分类:
其他好文 时间:
2014-05-07 12:19:33
阅读次数:
364
老是报物理内存越界,kill
container,然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发:http://bise.aliapp.c...
分类:
其他好文 时间:
2014-05-07 02:15:35
阅读次数:
409
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类:
其他好文 时间:
2014-05-07 01:06:02
阅读次数:
271
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:
其他好文 时间:
2014-05-07 00:35:59
阅读次数:
424