hbase与传统关系数据库区别hbase适合于非结构化数据存储的数据库。介于Map Entry
和 DB row之间的一种数据存储方式。1. 数据类型:
HBase只有简单的字符串类型,它只保存字符串所有的类型都是交给用户自己处理。关系型数据库可以选择类型2. 数据操作: HBase操作只有很简单的...
分类:
数据库 时间:
2014-05-09 09:51:14
阅读次数:
444
4.28日,IBM面向大数据应用行业发布了Power 8服务器处理器,并且将Power
8架构设计全面开源,企图模仿arm在移动互联网领域的做法,建立自己的开源生态圈,这标志着IBM对于X86市场开始发力,以前IBM既有X86架构的产品,又有高端服务器产品,但是又不好左右手互搏,现在好了,有联想这个...
分类:
其他好文 时间:
2014-05-09 07:39:19
阅读次数:
265
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类:
其他好文 时间:
2014-05-09 02:33:28
阅读次数:
418
介绍
Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作,以及进一步的MR...
分类:
其他好文 时间:
2014-05-09 02:08:17
阅读次数:
358
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类:
其他好文 时间:
2014-05-09 02:07:46
阅读次数:
313
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目(GoogleChubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类:
其他好文 时间:
2014-05-09 00:54:51
阅读次数:
265
1.COPY配置文件:cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录:vimhive-env.shHADOOP_HOME=/usr/a..
分类:
其他好文 时间:
2014-05-09 00:51:29
阅读次数:
282
[1].[图片] Json字符串和highcharts数据图表展现.jpg 跳至
[1]
[2]
[2].[代码] Json字符串和highcharts数据图表展现
跳至[1]
[2]
001
/*
002
* Filename: OQtyOrPriceReport.js
...
分类:
Web程序 时间:
2014-05-09 00:37:51
阅读次数:
653
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来:
core-site.xml:
fs.defaultFS
hdfs://fc20:9000
hadoop.tmp.dir
/home/ljq/hadoop/tm...
分类:
其他好文 时间:
2014-05-09 00:35:27
阅读次数:
342
版本:cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式,一种是直接导入,一种是转换为HFile,然后再次导入。1. HDFS数据为(部分):[root@node33 data]# hadoop fs -ls /inp...
分类:
其他好文 时间:
2014-05-09 00:25:48
阅读次数:
515