本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spark。在本课程中，会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、 ...
分类：
其他好文 时间：
2016-04-12 07:05:51
阅读次数：
480
最近在学习spark分布式计算框架,其中遇到这样的问题 提交的命令是 bin/spark-submit --jars lib/mysql-connector-java-5.1.38-bin.jar --master spark://Wechat-6:7077 examples/hsbhadoop/d... ...
分类：
移动开发 时间：
2016-04-09 19:04:42
阅读次数：
502
load、save方法的用法 .save("hdfs://spark1:9000/peopleName_java"); parquet数据源： -》加载parquet数据 DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:900 ...
分类：
数据库 时间：
2016-04-04 18:09:54
阅读次数：
287
一、通过结构化数据创建DataFrame： publicstaticvoid main(String[] args) { SparkConf conf = new SparkConf() .setAppName("DataFrameCreate").setMaster("local"); JavaS ...
分类：
数据库 时间：
2016-04-04 17:49:50
阅读次数：
272
一、SparkSQL与DataframeSparkSQL之所以是除Sparkcore以外最大和最受关注的组件的原因：a）能处理一切存储介质和各种格式的数据（你同时可以方便的扩展SparkSQL的功能来支持更多的数据类型，例如KUDO）b）SparkSQL把数据仓库的计算能力推向了一个新的高度。不仅是无敌的计算速..
分类：
数据库 时间：
2016-03-15 00:43:35
阅读次数：
261
1，首先需要安装hive，参考http://lqding.blog.51cto.com/9123978/17509672，在spark的配置目录下添加配置文件，让Spark可以访问hive的metastore。root@spark-master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/conf#vihive-site.xml
<configuration>
<property>..
分类：
数据库 时间：
2016-03-15 00:39:51
阅读次数：
633
下面是 StuQ 发布的大数据技能图谱，比较实用，供参考 大数据处理框架 Spark - RDD - Spark SQL - Spark Streaming - MLLibHadoop - HDFS (分布式文件系统) - Mapreduce（计算框架） - Yarn（资源管理平台） - Pig
分类：
其他好文 时间：
2016-03-14 09:28:47
阅读次数：
173
一、Spark框架预览 主要有Core、GraphX、MLlib、Spark Streaming、Spark SQL等几部分。 GraphX是进行图计算与图挖掘，其中主流的图计算框架现在有：Pregal、HAMA、Giraph（这几部分采用超步即同步的方式），而GraphLab与Spark Grap
分类：
其他好文 时间：
2016-03-04 09:17:57
阅读次数：
391
