接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类：
其他好文 时间：
2014-05-09 02:33:28
阅读次数：
418
强烈建议使用ubuntu系统，apt-get指令太好用了，安装各种依赖相当简单。
1.首先到bochs网站上下载一个linux版本bochs。在安装之前需要安装一些依赖:
sudo apt-get install build-essential
sudo apt-get install xorg-dev
sudo apt-get install libgtk2.0-dev
sudo ap...
分类：
系统相关 时间：
2014-05-09 02:09:44
阅读次数：
387
介绍
Spork是Pig on Spark的highly experimental版本，依赖的版本也比较久，如之前文章里所说，目前我把Spork维护在自己的github上：flare-spork。
本文分析的是Spork的实现方式和具体内容。
Spark Launcher
在hadoop executionengine包路径下，写了一个Spark启动器，同MapReduceLauncher类似，会在launchPig的时候，把传入的物理执行计划进行翻译。
MR启动器翻译的是MR的操作，以及进一步的MR...
分类：
其他好文 时间：
2014-05-09 02:08:17
阅读次数：
358
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类：
其他好文 时间：
2014-05-09 02:07:46
阅读次数：
313
1, Nginx 安装，http://nginx.org/en/download.html.下载解压，configure,make ,make install.安装过程中确实包，需要先下载安装依赖包2，安装lighttpd的spawn-fastcgi 下载http://www.lighttpd.net/download/lighttpd-1.4.19.tar.gz ./configuremake...
分类：
其他好文 时间：
2014-05-09 01:46:02
阅读次数：
358
1． 首先安装nodejs （http://nodejs.org/）
2． 然后在命令行输入 npm 回车
如果出现下图：
则表示安装成功
3. 安装
npm install -g cordova
4． 安装JDK
这里最麻烦的就是环境变量的配置了
配置环境变量：右击“我的电脑”-->"高级"-->"环境变量"
1）在系统变量...
分类：
移动开发 时间：
2014-05-09 00:37:25
阅读次数：
448
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来:
core-site.xml:
fs.defaultFS
hdfs://fc20:9000
hadoop.tmp.dir
/home/ljq/hadoop/tm...
分类：
其他好文 时间：
2014-05-09 00:35:27
阅读次数：
342
版本：cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式，一种是直接导入，一种是转换为HFile，然后再次导入。1. HDFS数据为（部分）：[root@node33 data]# hadoop fs -ls /inp...
分类：
其他好文 时间：
2014-05-09 00:25:48
阅读次数：
515
org.apache.hadoop.mapred.JobTracker类是个独立的进程，有自己的main函数。JobTracker是在网络环境中提交及运行MR任务的核心位置。
main方法主要代码有两句：1 //创建jobTracker对象2 JobTracker t...
分类：
其他好文 时间：
2014-05-08 22:51:48
阅读次数：
368
