OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙 spark sql 三个核心部分： 1. 可以加载各种结构化数据源(e.g., JSON, Hive, and?Parquet). 2. ?可以让你通过SQL ,spark ...
分类：
数据库 时间：
2015-05-19 15:07:52
阅读次数：
369
异常信息如下：atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)atorg.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)atorg.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:..
分类：
Web程序 时间：
2015-05-19 15:04:10
阅读次数：
228
异常信息如下：atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)atorg.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)atorg.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:..
分类：
Web程序 时间：
2015-05-19 15:03:31
阅读次数：
198
[Author]: kwu -- UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求，开发HIVE的UDTF自定义函数具体步骤如下：...
分类：
其他好文 时间：
2015-05-19 14:49:35
阅读次数：
5592
OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙
spark sql 三个核心部分：
1. 可以加载各种结构化数据源(e.g., JSON, Hive, and Parquet).
2. 可以让你通过SQL ,spark 内部程序或者外部工具，通过标准的数据库连接(JDBC/ODBC)连接spark，比如一个商业智能的工具Tableau
3.当...
分类：
数据库 时间：
2015-05-19 14:49:14
阅读次数：
297
1.Hbase简介1.面向列的分布式数据库2. 以HDFS作为文件系统3. 利用MapReduce处理Hbase中海量数据4. ZookKeeper作为协调工具5. sqoop提供Hbase到关系型数据库中数据导入功能6. Hive和pig提供高层语言支持如HSQL2. 伪分布式安装准备： 安装Ha...
分类：
其他好文 时间：
2015-05-19 10:16:37
阅读次数：
153
最近在部署Hive上线，结果在线上线下同时出现了MoveTask报错的现象，虽然两者错误的日志以及错误信息一样，但是经过分析解决又发现两者的原因是不一样的。首先线下的错误日志：2015-05-18 18:53:09,679 ERROR [main]: exec.Task (SessionState....
分类：
其他好文 时间：
2015-05-19 00:32:34
阅读次数：
2514
参考资料：http://stackoverflow.com/questions/16459790/hive-insert-overwrite-directory-command-output-is-not-separated-by-a-delimiter问题描述：Hive insert into d...
分类：
其他好文 时间：
2015-05-18 22:40:52
阅读次数：
1635
一、 从文件系统导入数据源存放路径： /root/datahive> load data local inpath "/root/data" overwrite intotable t1;Loading data to table default.t1Table default.t1 stats: ...
分类：
其他好文 时间：
2015-05-18 18:30:12
阅读次数：
442
1. 概述。本文主要介绍了mapreduce框架上如何实现两表JOIN。2. 常见的join方法介绍假设要进行join的数据分别来自File1和File2.2.1 reduce side joinreduce side join是一种最简单的join方式，其主要思想如下：在map阶段，map函数同时...
分类：
数据库 时间：
2015-05-18 18:11:23
阅读次数：
197
