第2期Spark亚太研究院决胜云计算大数据时代：100期Spark公益大讲堂之Shark、SparkSQL，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮...
分类：
数据库 时间：
2014-10-04 23:51:27
阅读次数：
323
Spark视频第2期：Shark、SparkSQL地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮箱：18610086859@126.com QQ: 17404...
分类：
数据库 时间：
2014-10-04 01:05:45
阅读次数：
266
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧?Yahoo!已经在长期大规模使用；国内也有公司在使用；Q2：impala和sparksql如何选择呢？Impala已经被官方宣布“安乐死”，被官方温柔的放弃；Spark..
分类：
其他好文 时间：
2014-09-24 13:32:07
阅读次数：
244
2014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要的变动有：
增加了JDBC/ODBC Server（ThriftServer），...
分类：
数据库 时间：
2014-09-15 10:05:48
阅读次数：
306
使用java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/hadoop/lib下，代码如下：package com.luogankun.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class HelloU...
分类：
数据库 时间：
2014-09-13 19:57:35
阅读次数：
401
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类：
数据库 时间：
2014-09-13 18:42:05
阅读次数：
497
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类：
数据库 时间：
2014-09-13 18:30:55
阅读次数：
468
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意：在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类：
数据库 时间：
2014-09-13 17:10:25
阅读次数：
512
SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持
版本说明：spark-1.1.0+scala-2.10.4+hive-0.12.0
spark1.1的发布正式版：2014/9/11
1、增加start-thriftserver.sh 服务启动，通过jdbc/odbc直接连接
bin/start-thriftser...
分类：
数据库 时间：
2014-09-13 09:25:24
阅读次数：
329
Spark之所以万人瞩目，除了内存计算，还有其ALL-IN-ONE的特性，实现了One stack rule them all。下面简单模拟了几个综合应用场景，不仅使用了sparkSQL，还使用了其他Spark组件：
店铺分类，根据销售额对店铺分类货品调拨，根据货品的销售数量和店铺之间的距离进行货品调拨
前者将使用sparkSQL+MLlib的聚类算法，后者将使用s...
分类：
数据库 时间：
2014-09-11 09:39:41
阅读次数：
292
