Hive Tables
将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下
When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in
the current direct...
分类：
数据库 时间：
2015-05-19 19:07:19
阅读次数：
217
OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙 spark sql 三个核心部分： 1. 可以加载各种结构化数据源(e.g., JSON, Hive, and?Parquet). 2. ?可以让你通过SQL ,spark ...
分类：
数据库 时间：
2015-05-19 15:07:52
阅读次数：
369
OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙
spark sql 三个核心部分：
1. 可以加载各种结构化数据源(e.g., JSON, Hive, and Parquet).
2. 可以让你通过SQL ,spark 内部程序或者外部工具，通过标准的数据库连接(JDBC/ODBC)连接spark，比如一个商业智能的工具Tableau
3.当...
分类：
数据库 时间：
2015-05-19 14:49:14
阅读次数：
297
spark sql中支持sechema合并的操作。直接上官方的代码吧。val sqlContext = new org.apache.spark.sql.SQLContext(sc)// sqlContext from the previous example is used in this exa...
分类：
数据库 时间：
2015-05-18 16:35:11
阅读次数：
294
从官网来copy过来的几种模式描述：Scala/JavaPythonMeaningSaveMode.ErrorIfExists(default)"error"(default)When saving a DataFrame to a data source, if data already exis...
分类：
数据库 时间：
2015-05-18 16:09:17
阅读次数：
181
val df = sqlContext.load("/opt/modules/spark1.3.1/examples/src/main/resources/people.json","json")df.select("name","age").save("/opt/test/namesAndAges...
分类：
数据库 时间：
2015-05-18 16:07:42
阅读次数：
355
使用spark 1.3.1scala> import sqlContext.createSchemaRdd结果报错::29: error: value createSchemaRdd is not a member of org.apache.spark.sql.SQLContext i...
分类：
其他好文 时间：
2015-05-15 17:26:14
阅读次数：
158
Spark SQL 1.3参考官方文档：Spark SQL and DataFrame Guide概览介绍参考：平易近人、兼容并蓄——Spark SQL 1.3.0概览 DataFrame提供了一条联结所有主流数据源并自动转化为可并行处理格式的渠道，通过它Spark能取悦大数据生态链上的所有玩家，....
分类：
数据库 时间：
2015-05-08 23:48:25
阅读次数：
311
Spark SQL 1.2背景：了解到HDP也能够支持Spark SQL，但官方文档是版本1.2，希望支持传统数据库、hadoop平台、文本格式的整合处理 虚线表示还未实现。支持从现有Apache Hive表以及流行的Parquet列式存储格式中读取数据，数据源API通过Spark SQL提供了访....
分类：
数据库 时间：
2015-05-08 22:00:16
阅读次数：
323
Spark1.21. 文本导入创建RDD的形式,测试txt文本master=spark://master:7077./bin/spark-shellscala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) sqlContext:....
分类：
数据库 时间：
2015-05-05 23:46:31
阅读次数：
226
