总结：
???1.kafka?中可以分步不同的组，消息可以被不同组里面的消费者多次消费
???2.?观察zookeeper中kafka中的信息：
[zk:?air00:2181(CONNECTED)?8]?ls?/
[consumers,?config,?controller,?adm...
分类：
其他好文 时间：
2014-09-25 16:08:39
阅读次数：
209
本文以百度关键词搜索推荐工具字面相关性模型为基础，介绍一个机器学习任务的具体设计实现。包括目标的设定，训练数据准备，特征选择及筛选， 以及模型的训练及优化。该模型可扩展到语意相关性模型，搜索引擎相关性及LTR学习任务的设计实现。该模型的设计调研实现，也可以很容易移植解决其他包括语义相关性的问题...
分类：
其他好文 时间：
2014-09-24 00:24:45
阅读次数：
321
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战：怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）...
分类：
其他好文 时间：
2014-09-23 14:04:14
阅读次数：
295
KafkaOffsetMonitor是不错的kafka监控的web工具，官方提供的版本需要在线下载js和css，其中angulajs的下载不了，在不联网的内部环境下不能正常使用，所以本人将其所有到的js和css单独下载整到当前这个jar包中，下载在内部环境可以直接使用...
分类：
Web程序 时间：
2014-09-21 11:38:20
阅读次数：
265
# consumer offset commit 使用kafka的python api时遇到了offset回滚的问题，因为最初使用了autocommit参数，发现有时会重复取记录，发现autocommit是批量提交，并且有offset回滚的问题，具体原因未发现，解决方法...
分类：
其他好文 时间：
2014-09-21 02:23:20
阅读次数：
439
------Java培训、Android培训、iOS培训、.Net培训、期待与您交流！ -------mac ox 基础介绍1.常用的Unix指令ls-l 列出当前路径的所有文件cd 目录转换pwd 显示当前路径mkdir 新建目录touch 创建文件open 打开文件\文件夹who 显示当前用户名...
分类：
其他好文 时间：
2014-09-16 12:34:50
阅读次数：
167
目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 ...
分类：
编程语言 时间：
2014-09-14 22:06:27
阅读次数：
1889
通常而言我们的kafka的配置如下所示： broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=1...
分类：
其他好文 时间：
2014-09-12 17:29:24
阅读次数：
215
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
使用版本：kafka_2.10-0.8.1.1安装：tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/添加环境变量：.bash_profileexport KAFKA_HOME=/home/spark/app/kafka_2.10-0.8.1.1export PAT...
分类：
其他好文 时间：
2014-09-10 17:18:30
阅读次数：
231
