Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SBT是单进程）...
分类：
其他好文 时间：
2015-08-12 09:02:31
阅读次数：
110
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、编译SparkSpark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种...
分类：
其他好文 时间：
2015-08-12 08:57:45
阅读次数：
131
本文作为Spark编译与部署的前置课程，介绍了Hadoop64位环境下的编译与安装...
分类：
其他好文 时间：
2015-08-10 10:42:40
阅读次数：
261
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、编译Hadooop1.1搭建环境1.1.1安装并设置maven1.下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下http://mirror.b...
分类：
其他好文 时间：
2015-08-10 07:04:56
阅读次数：
98
Sequoiadb作为一个文档型NoSQL数据既可以存储结构化数据也可以存储非结构化数据，对于非结构化数据只能使用原生的API进行查询，对结构化数据我们可以选择使用原生的API和开源SQL引擎，目前PostgresSQL,Hive,SparkSQL都可以作为Sequoiadb的SQL引擎，应用中该如...
分类：
数据库 时间：
2015-08-09 00:24:45
阅读次数：
219
最近使用SparkSQL做数据的打平操作，就是把多个表的数据经过关联操作导入到一个表中，这样数据查询的过程中就不需要在多个表中查询了，在数据量大的情况下，这样大大提高了查询效率。我启动了thriftserver,然后通过beeline去连接thriftserver， 打平操作进行的很顺利，但是在执行...
分类：
其他好文 时间：
2015-08-09 00:24:31
阅读次数：
329
Spark入门实战系列--2.Spark编译与部署（上）--基础环境搭建【注】1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取；2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础...
分类：
其他好文 时间：
2015-08-06 23:49:19
阅读次数：
132
1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取；
2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Hadoop编译安装和Spark编译安装，该环境作为后续实验基础；
3、文章演示了Hadoop、Spark的编译过程，同时附属资源提供了编译好的安装包，觉得编译费时间可以直接使用这些编...
分类：
其他好文 时间：
2015-08-05 16:21:19
阅读次数：
156
【注】1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取；2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Hadoop编译安装和Spark编译安装，该环境作为后续实验基...
分类：
其他好文 时间：
2015-08-05 10:14:17
阅读次数：
258
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi...
分类：
其他好文 时间：
2015-08-03 18:23:27
阅读次数：
170
