对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence...
分类：
其他好文 时间：
2014-06-28 22:39:15
阅读次数：
1224
spark1.0.0下使用scala实现机器学习算法，包括分类、回归、聚类、协同过滤以及降维等。
分类：
其他好文 时间：
2014-06-18 15:25:15
阅读次数：
346
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩...
分类：
其他好文 时间：
2014-06-17 20:04:58
阅读次数：
201
1. Install Java and set JAVA_HOME2. Install IntelliJ IDH and Scala plugin3. Download spark1.0.04. Generate a workspace for IDEA[shaochen@linux spark-1...
分类：
其他好文 时间：
2014-06-17 19:55:22
阅读次数：
262
Scala是一种函数式语言和面向对象语言结合的新语言，本笔记中就零散记下学习scala的一些心得，主要侧重函数式编程方面。##1. 以递归为核心控制结构。实现循环处理的方式有三种：goto，for/while，递归，其中用goto实现循环已经在现代语言中被放弃，而for/while形式的结构化编程成...
分类：
其他好文 时间：
2014-06-17 16:01:37
阅读次数：
163
scala中特质(trait)是一个很有用的特性，在程序设计中可以 更好的抽象现实，使程序更关注各自功能和更好的将程序拆分成多个特质模块，使程序具有更强的扩展性。...
分类：
其他好文 时间：
2014-06-15 17:28:01
阅读次数：
169
scala的函数式和面向对象风格，可以让想想随时发生；如果你是画家，使用scala写出来的代码更像一幅充满诗意的风景画。如果你是作家，写出的将是一个扣人心弦的跌宕起伏的大篇。scala给不同类型的程序员不同的体验和感受。而使用scala函数式柯里化风格，可以编写出更加抽象，功能化和高效的函数式代码。...
分类：
其他好文 时间：
2014-06-14 14:44:24
阅读次数：
519
spark1.0.0 集群 Standalone Applications scala sbt
分类：
其他好文 时间：
2014-06-12 11:09:33
阅读次数：
343
