参考， https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools http://kafka.ap...
分类：
其他好文 时间：
2014-06-28 22:01:55
阅读次数：
637
前提：安装好jdk1.7，hadoop安装步骤：1、安装scala下载地址：http://www.scala-lang.org/download/配置环境变量：export SCALA_HOME=/..../scalaexport PATH=.:$SCALA_HOME/bin ....验证：sca....
分类：
其他好文 时间：
2014-06-28 14:08:09
阅读次数：
404
欢迎关注我的新博客地址：http://cuipengfei.me/
Lower bound，不知道这个词的确切中文翻译是怎样的。我们直接看例子吧。
1
2
3
class Pair[T](val first: T, val second: T) {
def replaceFirst[R >: T](newFirst: R): Pair[R] ...
分类：
其他好文 时间：
2014-06-25 00:04:48
阅读次数：
381
scala 入门Eclipse环境搭建及第一个入门经典程序HelloWorld...
分类：
系统相关 时间：
2014-06-24 18:42:40
阅读次数：
270
Manifest和TypeTag是要解决什么问题？As with other JVM languages, Scala’s types are erased at compile time. This means that if you were to inspect the runtime typ...
分类：
其他好文 时间：
2014-06-24 12:49:07
阅读次数：
187
欢迎关注我的新博客地址：http://cuipengfei.me/
在Scala中，名字叫做update的方法是有特殊作用的。
比如：
1
2
3
val scores = new scala.collection.mutable.HashMap[String, Int]
scores("Bob") = 100
val bobsScore =...
分类：
其他好文 时间：
2014-06-22 07:37:52
阅读次数：
282
Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适...
分类：
其他好文 时间：
2014-06-21 06:22:00
阅读次数：
273
Apache已经发布了Kafka 0.8，也是自从成为Apache软件基金会的顶级项目后Kafka的 第一个主版本。 Apache Kafka是发布—订阅消息传递，实现了分布式提交日志，适用于离线和在线消息消费。它最初由LinkedIn开发的消息系统，用于低延迟的收集和发送大 量的事件和日志数据。最...
分类：
其他好文 时间：
2014-06-21 06:21:23
阅读次数：
253
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
