Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念...
分类：
其他好文 时间：
2015-08-05 20:22:50
阅读次数：
857
1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取；
2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Hadoop编译安装和Spark编译安装，该环境作为后续实验基础；
3、文章演示了Hadoop、Spark的编译过程，同时附属资源提供了编译好的安装包，觉得编译费时间可以直接使用这些编...
分类：
其他好文 时间：
2015-08-05 16:21:19
阅读次数：
156
Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。...
分类：
其他好文 时间：
2015-08-05 12:55:28
阅读次数：
250
转自：http://blog.qiniu.com/archives/3928七牛是如何搞定每天500亿条日志的牛小七2015年7月31日发布在 技术分享 7月30日，七牛数据平台工程师王团结在CSDN Spark微信用户群，与近千名Spark技术开发人员，结合七牛内部使用的数据平台，深入分享了团队是...
分类：
其他好文 时间：
2015-08-05 12:22:10
阅读次数：
188
【注】1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取；2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Hadoop编译安装和Spark编译安装，该环境作为后续实验基...
分类：
其他好文 时间：
2015-08-05 10:14:17
阅读次数：
258
王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360云盘：http://yunpan.cn/cQ4c2U...
分类：
其他好文 时间：
2015-08-04 22:29:26
阅读次数：
118
Spark知识掌握
第一阶段
要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；
第二阶段: 精通Spark平台本身提供给开发者API
1，掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；
2，掌握Spark中的宽依赖和窄依赖以及lineage机制；
3，掌握RDD的计算流...
分类：
其他好文 时间：
2015-08-04 17:16:17
阅读次数：
140
使用Scala+IntelliJ IDEA+Sbt搭建开发环境提示搭建开发环境常遇到的问题：1.网络问题，导致sbt插件下载失败，解决方法，找到一个好的网络环境，或者预先从我提供的网盘中下载jar(链接：http://pan.baidu.com/s/1qWFSTze 密码：lszc)将下载的.ivy2压缩文件，解压后，放到你的用户目录下。2.版本匹配问题，版本不匹配会遇到各种问题，解决方法，按照如下...
分类：
其他好文 时间：
2015-08-04 13:28:25
阅读次数：
118
Spark运行环境Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。
如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。
目前Spark(1.2.0版本) 与Python 3不兼容。
Spark下载下载地址：http://spark.apache.org/downloads.html，选择Pre-built for Hadoop...
分类：
其他好文 时间：
2015-08-04 13:28:21
阅读次数：
117
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、简介1.1Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Ap...
分类：
其他好文 时间：
2015-08-04 09:25:55
阅读次数：
193
