Spark1.3中新增DirectStream处理Kafka的消息。使用方法如下：KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet)ssc:S...
分类：
其他好文 时间：
2015-05-05 18:20:40
阅读次数：
200
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-05-05 16:18:58
阅读次数：
158
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成:客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供可...
分类：
其他好文 时间：
2015-05-04 23:45:03
阅读次数：
194
Angel Beats!同人RPG游戏v1.0【無語音，帶BGM。角色扮演遊戲，漢化版】預覽：操作：【Z】菜單，確定，對話鍵，【X】返回，【Enter回車鍵】對話】，【↑↓←→】行走鍵。下載地址：http://www.400gb.com/file/81157758AngelPlan!Ver.0试玩版...
分类：
移动开发 时间：
2015-05-04 23:29:32
阅读次数：
1679
Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html官方的英文文档 介绍的比较全面。 不过这里写写自己的见解这个是flume的架构图从上图可以看到几个名词...
分类：
Web程序 时间：
2015-05-02 01:01:18
阅读次数：
348
kafka采用了一些非主流（unconventional）并经过实践的设计使其高效和可扩展。在实际使用中kafka显示出了相对于常见流行的消息系统的优越性。并且每天能够处理上百GB的新的数据。类似收集实时数据来获得查询、推荐、广告方感兴趣的内容时，需要计算大量细粒度的点击率，还包括那些没有点击的页面...
分类：
其他好文 时间：
2015-05-01 23:52:47
阅读次数：
150
kafka.cluster包定义了Kafka的基本逻辑概念：broker、cluster、partition和replica——这些是最基本的概念。只有弄懂了这些概念，你才真正地使用kakfa来帮助完成你的需求。因为scala文件不多，还是老规矩，我们一个一个分析。一、Broker.scalabro...
分类：
其他好文 时间：
2015-04-29 11:27:15
阅读次数：
168
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
但对于很多中小企业来说，本身的设备也不是太多，也就几台到几十台而已，如果花费太多的精力去搞安全也不划算，如果不搞又感觉不放心。那什么方面的内容是中小企业关注的呢？个人认为应该优先关注访问安全，就是有没有人非法访问你的服务器，因为在云平台下，任何人只要接入网络都可以访问到你的机器。所以我认为应该优先关注此信息，报告非上班时间访问，非上班地点访问，密码猜测，账号猜测，账号猜测成功等行为。从我了解的情况下，这部分目前还没有比较有效的开源或者免费工具供大家使用，现在elk用的比较多，但大多数情况下都不太适合中小公司...
分类：
其他好文 时间：
2015-04-26 09:16:32
阅读次数：
133
结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)现象：在第二层，写入kafka的topic和读取的kafka的topic相同，手动设定的sinktopic不生效打开debug日志：source实例化:21Apr201519:24:03,146INFO[conf-file-poll..
分类：
Web程序 时间：
2015-04-26 01:47:52
阅读次数：
765
