查spark version:spark-sql --version spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz 1/ spark要访问s3需要cp /usr/lib/hadoop-current/share/hadoop/tools/ ...
分类：
其他好文 时间：
2020-01-11 11:50:20
阅读次数：
125
api差异参考官网地址：https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20 1.SparkSession is now the new entry point ...
分类：
其他好文 时间：
2020-01-06 19:23:38
阅读次数：
87
一.官网位置1.位置2.解释官网位置DataSet1.6出现的SchemaRDD<1.31.3版本前叫SchemaRDD1.3以后叫DataFrameDataSet支持Scala,JAVA不支持pythonDataFrame支持四种JAVA,Scala.Python,RDataFrame:并不是sparksql独创的，原来就有的，从其他框架借鉴过来的二.DataFrame注意事项1.注意分布
分类：
数据库 时间：
2020-01-05 09:39:35
阅读次数：
76
一 问题 hivesql可以正常运行，spark3.0运行报错如图 spark3.0配置 查看源码新增一个 val STORE_ASSIGNMENT_POLICY = buildConf("spark.sql.storeAssignmentPolicy") .doc("When inserting ...
分类：
数据库 时间：
2019-12-25 20:34:49
阅读次数：
162
目录 一、Spark SQL介绍 二、Spark和Hive的整合 三、Spark的thriftserve2/beeline/jdbc 四、shell方式使用SQL 一、Spark SQL介绍 官网：http://spark.apache.org/sql/ 学习文档：http://spark.apac ...
分类：
数据库 时间：
2019-12-24 23:44:13
阅读次数：
353
SQL on Hadoop 技术 | 备注 | Apache Hive | Cloudera Impala | Facebook Presto | Apache Drill | Spark SQL | Apache Phoenix | ...
分类：
数据库 时间：
2019-12-20 01:16:13
阅读次数：
124
1.启动spark SQL时,报错: Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql. ...
分类：
其他好文 时间：
2019-12-17 00:31:15
阅读次数：
110
一、测试数据集(奥特曼.json) 二、源代码 1 import org.apache.spark.sql.SparkSession 2 3 //在Scala中,样例类在编译时会默认实现Product特质 4 case class Ultraman(name: String, age: BigInt ...
分类：
数据库 时间：
2019-12-14 17:35:20
阅读次数：
144
为什么要用SQL 1）事实上的标准 MySQL、Oacle、DB2、SQL Server都是用的SQL操作，DBA、运维人员使用SQL门槛比较低 2）易学易用 SQL对于不懂的人学习较容易 3）受众面广 无论做Java、.Net、Php都需要与数据库交互，都需要编写SQL Hive： 类似于SQL的... ...
分类：
数据库 时间：
2019-12-03 18:00:13
阅读次数：
92
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit ={ Logger.getLogg ...
分类：
数据库 时间：
2019-12-02 13:30:16
阅读次数：
107
