Hive Tables
将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下
When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in
the current direct...
分类：
数据库 时间：
2015-05-19 19:07:19
阅读次数：
217
OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙 spark sql 三个核心部分： 1. 可以加载各种结构化数据源(e.g., JSON, Hive, and?Parquet). 2. ?可以让你通过SQL ,spark ...
分类：
数据库 时间：
2015-05-19 15:07:52
阅读次数：
369
异常信息如下：atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)atorg.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)atorg.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:..
分类：
Web程序 时间：
2015-05-19 15:04:10
阅读次数：
228
异常信息如下：atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)atorg.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)atorg.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:..
分类：
Web程序 时间：
2015-05-19 15:03:31
阅读次数：
198
OK ！好久不见，大家都忙着各自的事情，me too, 博客也好久木有更新了，因为一直比较忙
spark sql 三个核心部分：
1. 可以加载各种结构化数据源(e.g., JSON, Hive, and Parquet).
2. 可以让你通过SQL ,spark 内部程序或者外部工具，通过标准的数据库连接(JDBC/ODBC)连接spark，比如一个商业智能的工具Tableau
3.当...
分类：
数据库 时间：
2015-05-19 14:49:14
阅读次数：
297
使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：Maximum rate (number of records per second) at which each receiver will receive data. Effective...
分类：
其他好文 时间：
2015-05-19 12:36:22
阅读次数：
226
Scala作为Spark的开发语言，想要成为Spark高手，精通Scala是必须要走的一条路
然后一门语言并不是你想精通就能够精通的，更何况是Scala这种面向对象又面向函数的编程语言，个人觉得其学习的门槛会比C#，Java等面向对象语言要高
所以，这篇文章是建立在有一点编程语言知识的基础上的（如学过C#或者Java等），其实所有语言都是大同小异的，学会了一门语言在学其他的就不会像刚开始那么吃力...
分类：
其他好文 时间：
2015-05-19 10:46:47
阅读次数：
151
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
官方是这样说的：Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk. This should be on a fast, local di...
分类：
其他好文 时间：
2015-05-18 18:19:14
阅读次数：
232
spark sql中支持sechema合并的操作。直接上官方的代码吧。val sqlContext = new org.apache.spark.sql.SQLContext(sc)// sqlContext from the previous example is used in this exa...
分类：
数据库 时间：
2015-05-18 16:35:11
阅读次数：
294
