order_created.txt 订单编号 订单创建时间10703007267488 2014-05-01 06:01:12.334+0110101043505096 2014-05-01 07:28:12.342+0110103043509747 2014-05-01 07:50:12....
分类：
数据库 时间：
2015-02-09 15:55:23
阅读次数：
225
通过Spark SQL External Data Sources JDBC实现将RDD的数据写入到MySQL数据库中。jdbc.scala重要API介绍：/** * Save this RDD to a JDBC database at `url` under the table name `ta...
分类：
数据库 时间：
2015-02-05 17:52:44
阅读次数：
1163
好久没有弄博客了。。。hive0.14spark0.12[hadoop@irs bin]$ ./spark-sqlSpark assembly has been built with Hive, including Datanucleus jars on classpathException in ...
分类：
数据库 时间：
2015-02-03 17:03:56
阅读次数：
372
/**Spark SQL源代码分析系列文章*/ 前面讲到了Spark SQL In-Memory Columnar Storage的存储结构是基于列存储的。 那么基于以上存储结构，我们查询cache在jvm内的数据又是怎样查询的，本文将揭示查询In-Memory Data的方式。一、引子本例使用.....
分类：
数据库 时间：
2015-02-01 21:39:05
阅读次数：
201
在spark1.2版本中最令我期待的功能是External Data Sources，通过该API可以直接将External Data Sources注册成一个临时表，该表可以和已经存在的表等通过sql进行查询操作。External Data Sources API代码存放于org.apache.s...
分类：
数据库 时间：
2015-01-20 15:06:56
阅读次数：
1170
目前没有实现，理一下思路，有3中途径：1：spark core可以使用sequoiadb最为数据源，那么是否spark sql可以直接操作sequoiadb。 (感觉希望不大,）2: spark sql支持Hive, sequoiadb可以和hive做对接，那么是否可以通过HIveContext ....
分类：
数据库 时间：
2015-01-17 15:10:37
阅读次数：
511
SparkSQL操作文本文件val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sqlContext._case class PageViews(track_time: String, url: String, session...
分类：
数据库 时间：
2015-01-09 10:29:50
阅读次数：
732
最新的Spark 1.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数，要启用该功能，需做以下操作： 一： 在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services...
分类：
数据库 时间：
2015-01-09 00:22:12
阅读次数：
1652
package org.apache.spark.sql.sourcesimport org.apache.spark.SparkContextimport java.sql.{ResultSet, DriverManager}import org.apache.spark.rdd.JdbcRDD/...
分类：
数据库 时间：
2015-01-08 19:50:57
阅读次数：
637
