前沿: Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. 最显著的特别是, Hive的数据是Schema On Read, 对数据的写入非常的自由和松散,....
分类：
其他好文 时间：
2014-07-07 09:53:53
阅读次数：
262
创建zybo cluster的spark集群（计算层面）： 1.每个节点都是同样的filesystem，mac地址冲突，故： vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类：
其他好文 时间：
2014-07-05 17:29:31
阅读次数：
549
原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装： http://...
早在Spark Submit 2013里就有介绍到Spark SQL，不过更多的是介绍Catalyst查询优化框架。经过一年的开发，在今年Spark Submit 2014上，Databricks宣布放弃Shark 的开发，而转投Spark SQL，理由是Shark继承了Hive太多，优化出现了瓶颈，如图：
今天把Spark最新的代码签了下来，测试了一下：
1、编译Spar...
分类：
数据库 时间：
2014-07-03 16:06:04
阅读次数：
534
之前介绍了github上的hive2solr项目和solr的multivalue功能。线上我们是采用hive计算完数据后推送到solr的方法，如果需要实现multivalue的话，默认的hive2solr是有些问题的。即使在hive中对于的field是多个字，导入solr之后也只是一个整体的字符串，比如下面表的数据如下：idte..
分类：
其他好文 时间：
2014-07-03 14:10:57
阅读次数：
199
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageL...
分类：
其他好文 时间：
2014-07-03 12:53:15
阅读次数：
314
测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.61、一般来说我们对hive的操作都是通过cli来进行，也就是Linux的控制台，但是，这样做本质上是每个连接都存放一个元数据，各个之间都不相同，所以，对于这样的模式我建议是用来做一些测试比较合适，并不适合做产品的开发和应...
分类：
编程语言 时间：
2014-07-03 00:39:24
阅读次数：
316
Spark目前支持多种分布式部署方式：一、Standalone Deploy Mode；二Amazon EC2、；三、Apache Mesos；四、Hadoop YARN。第一种方式是单独部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类：
其他好文 时间：
2014-07-02 13:48:43
阅读次数：
299
