原文来自于:http://www.oschina.net/translate/elasticsearch-getting-started?cmp教程样例我们将要部署一个非常简单的应用--在一个部门里的雇员--这样我们可以把注意力放在功能而不是氧立得复杂性上。总而言之,这篇博文是为了帮助人们开始Ela...
分类:
其他好文 时间:
2014-07-23 15:07:36
阅读次数:
213
阅读背景:您需要对Zk,Kafka有基础的了解 ? ? ?本章主题:详尽的梳理ZkCoordinator的过程 package?com.mixbox.storm.kafka;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;
import?...
分类:
其他好文 时间:
2014-07-23 14:00:16
阅读次数:
343
前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
基本情况就是,媒体、试题、分类,媒体可能有多个试题,一个试题可能有多个分类,分类为三级分类加上一个综合属性。通过试题名称、分类等搜索查询媒体。 现在的问题为,搜索结果不精确,部分搜索无结果,ES的数据...
分类:
Web程序 时间:
2014-07-22 09:06:06
阅读次数:
388
介绍略 集群安装: 一.准备工作: 1.版本介绍: 目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择) 2.环境准备: 安装JDK6,目前使用版本为1.6,并配置JAV...
分类:
其他好文 时间:
2014-07-21 10:25:51
阅读次数:
173
日志分析界面:logstash(分析端)+elashsearch(存储端)+kibana(展示端)工具:进行数据整理statsd1、diamond-->statsd-->graphite2、实时收集数据的做法:logstash-->statsd-->graphite日志收集可视化(LEK):logstash+elasticsearch+kibanalegend:logstash--》..
分类:
其他好文 时间:
2014-07-20 23:38:43
阅读次数:
696
# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码,jar包什么的都已经上传到群214293307共享中,需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类:
其他好文 时间:
2014-07-18 12:31:58
阅读次数:
527
读操作需要两个参数:一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大,但在一些个别消息比较大的情况下,S会小于单个消息的大小。这种情况下读操作会不断重试,每次重试都会讲读取量加倍,直到读取到一个完整的消息。可以配置单个消息的最大值,这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限,避免为了读到一个完整的消息而无限次的重试。...
分类:
其他好文 时间:
2014-07-17 20:11:04
阅读次数:
288
nodejsnpminstall安装环境logstash日志分析,图形界面展示小的搜索引擎,图形界面展示ruby开发的工具,封装成java环境的jar包logstash分析读日志从后往前读实时elasticsearch存储kibana展示web页面java-jarlogstash-1.3.2-flatjar.jaragent-flogstash.conf--webhttp://192.168...
分类:
其他好文 时间:
2014-07-17 08:09:54
阅读次数:
441