码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop hive parquet    ( 33788个结果
Flex4 Halo组件 List 和 DataGrid
Flex1 到 Flex3 使用的都是 Halo组件,这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。 先写个“食物”的模型 Dinner.as 。 package model { [Bindable] public class Dinner { public...
分类:其他好文   时间:2014-05-09 02:34:26    阅读次数:306
ODPS 下map / reduce 的编写
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.      总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.      首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.    输入表为 提供的 t_alibaba_bigdata_user_brand_total_1  输出表为自定义的wc_out    w...
分类:其他好文   时间:2014-05-09 02:33:28    阅读次数:418
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
hadoop 启动的时候datanode报错 Problem connecting to server
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类:其他好文   时间:2014-05-09 02:07:46    阅读次数:313
eclipse连接hive所需包
分类:系统相关   时间:2014-05-09 00:57:13    阅读次数:508
hadoop2.0 配置yarn成功
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来: core-site.xml:               fs.defaultFS          hdfs://fc20:9000                      hadoop.tmp.dir          /home/ljq/hadoop/tm...
分类:其他好文   时间:2014-05-09 00:35:27    阅读次数:342
hbase0.96数据导入以及Kettle操作hbase问题
版本:cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式,一种是直接导入,一种是转换为HFile,然后再次导入。1. HDFS数据为(部分):[root@node33 data]# hadoop fs -ls /inp...
分类:其他好文   时间:2014-05-09 00:25:48    阅读次数:515
Hadoop之MapReduce
http://blog.csdn.net/wangloveall/article/details/21407531摘要:MapReduce是Hadoop的又一核心模块,从MapReduce是什么,MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词:Hado...
分类:其他好文   时间:2014-05-08 23:03:55    阅读次数:270
hadoop知识点记录
浅谈在shell脚本中使用HQL访问hive
分类:其他好文   时间:2014-05-08 22:57:09    阅读次数:262
JobTracker启动流程源码级分析
org.apache.hadoop.mapred.JobTracker类是个独立的进程,有自己的main函数。JobTracker是在网络环境中提交及运行MR任务的核心位置。 main方法主要代码有两句:1 //创建jobTracker对象2 JobTracker t...
分类:其他好文   时间:2014-05-08 22:51:48    阅读次数:368
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!