欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
Scala是一门运行在jvm上的多范式语言，作为一个java程序员，使用Scala来写写程序，既不用担心会没有java强大的库支持，又能快速地写出简短强悍的代码，除此之外scala还为我们提供了强大的并发支持，Let's love it! 安装 下面来看看如何安装它（在此之前，确保已经安装好了...
分类：
其他好文 时间：
2014-07-05 20:44:21
阅读次数：
223
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
背景是设计一个实时数据接入的模块，负责接收客户端的实时数据写入（如日志流，点击流），数据支持直接下沉到HBase上（后续提供HBase上的查询），或先持久化到Kafka里，方便后续进行一些计算和处理，再下沉到文件系统或做别的输出。
在设计中，对于客户端和服务端有这么些目标。
客户端需要支持多语言（Java，C++），做得尽量轻量级，只要连上服务端的ip:port，以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理，服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类：
其他好文 时间：
2014-07-04 08:59:19
阅读次数：
552
# Kfaka的体系结构
# 学习前言
Kafka的整个学习过程就是自己看官网的文档，出错了找各种错，各种百度Google什么的，还好最后都解决了，不然就坑爹了，伤不起啊！英语真心也是硬伤，还是好好学英语，多记记单词吧！看官方文档还是有点压力的，不过压力就是动力，人生就该如此，这几天有点小忙，今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦，一起学习，共同进步 ...
# Kafka介绍
# 介...
分类：
编程语言 时间：
2014-07-03 18:41:34
阅读次数：
392
函数和闭包1 成员方法java中函数存在的方式，我们给一个类追加一个功能的途径就是给他追加一个方法。2 本地方法所谓的本地方法就是存在于一个方法内部的方法。如果一个类中有一个方法是private的，且只有一个方法使用到他，那么这个方法完全可以被定义为一个本地方法3 函数式一等公民方法分为：1 方法名...
分类：
其他好文 时间：
2014-07-02 21:29:31
阅读次数：
217
Metrics-Java版的指标度量工具之一 Metrics-Java版的指标度量工具之二 JAVA Metrics 度量工具使用介绍1 JAVA Metrics度量工具 - Metrics Core 翻译 http://blog.synyx.de/2013/09/yammer-metrics-ma...
分类：
其他好文 时间：
2014-07-01 21:16:39
阅读次数：
344
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
