HDFS 的备份功能不是给 基于 HBase 等 基于HDFS 的项目做备份的。 如果 HBase 需要备份，那么久需要设置 备份（快照 ）功能。 HMaster 、 kafka 等无主结构并不是自我实现的选举， 而是基于 ZooKeeper 的选举策略决策出新的 master HBase 创建表的... ...
分类：
其他好文 时间：
2016-03-30 16:16:55
阅读次数：
165
一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 以下介绍消息队列在 ...
分类：
其他好文 时间：
2016-03-30 14:41:44
阅读次数：
241
大型网站架构系列：消息队列（二） 本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】 本次分享大纲 消息队列概述（见第一 ...
分类：
Web程序 时间：
2016-03-30 14:40:47
阅读次数：
280
消息队列：AMQP高级消息队列协议。MQ和JMS类似，但不同的是JMS是SUN JAVA消息中间件服务的一个标准和API定义，而MQ则是遵循了AMQP协议的具体实现和产品。目前，Spring唯一实现了RabbitMQ，但并不是说不支持其他的。大数据方面，一般使用Kafka。Producer： 创建连 ...
分类：
其他好文 时间：
2016-03-30 12:42:10
阅读次数：
136
ThreadreplayReqProducerThread=newThread(newAdjustmentReplayRequestProducer(...);replayReqProducerThread.start();publicclassAdjustmentReplayRequestProducerimplementsRunnable{publicvoidrun(){ while(true){...}}}以上代码希望在整个context中创建单例的Producer，..
分类：
Web程序 时间：
2016-03-29 15:06:55
阅读次数：
262
概述 基于Spring支持的客户端编程，包括发送方客户端、接收方客户端。 发送方客户端代码：jms-producer 接收方客户端代码：jms-consumer 本文有pdf版本：基于Spring支持的通信.pdf 发送方客户端 这里基于demo进行说明。这个demo将往example.queue和 ...
分类：
编程语言 时间：
2016-03-28 21:29:01
阅读次数：
242
Windows 7 安装Apache kafka_2.11-0.9.0.1 下载所需文件 Zookeeper: http://www.apache.org/dyn/closer.cgi/zookeeper/ Kafka :http://kafka.apache.org/downloads.html ...
1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
python多线程生产者消费者模型：一个生产者多个消费者TheQueuemoduleimplementsmulti-producer,multi-consumerqueues.Itisespeciallyusefulinthreadedprogrammingwheninformationmustbeexchangedsafelybetweenmultiplethreads.TheQueueclassinthismoduleimplementsalltherequir..
分类：
编程语言 时间：
2016-03-26 20:33:18
阅读次数：
253
我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队
分类：
其他好文 时间：
2016-03-18 20:02:45
阅读次数：
3595
