发布与订阅消息系统。 数据(消息)的发送者不会直接把消息发送给接受者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者订阅他们，以便接受特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点。 传统的交互方式： 用户>应用服务器>db 缺点：高并发服务 ...
分类：
其他好文 时间：
2018-06-26 11:07:22
阅读次数：
400
airflow整合环境搭建 1. 整体结构 mysql 后端数据库 redis 用于broker CeleryExecutor 执行器 2. 环境安装 安装python anaconda环境 安装mysql相关依赖 安装相关模块 安装mysql 安装redis 配置airflow 启动airflow ...
分类：
其他好文 时间：
2018-06-26 00:55:53
阅读次数：
757
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 ...
分类：
其他好文 时间：
2018-06-25 19:02:06
阅读次数：
212
1、下载kafka_2.11-0.10.1.0.tgz解压 2、配置server.properties ############################# Server Basics #############################broker.id=1host.name=emr- ...
分类：
其他好文 时间：
2018-06-25 15:03:42
阅读次数：
156
Oracle 12c dataguard云上挖坑记--为某机场贵宾业务部署oracle 12c到百度云项目需求据称现有环境为多节点RAC，管理成本高，主要体现在没有专业技术人家对基础设施进行维护。迁移到云上以后，基础设施维护就节省掉了。而且后边容量扩充易如反掌，远程维护之类也比物理环境去现场操作方便许多。 但在云上，oracle RAC实现的两个前提条件--共享存储及心跳网络，不被正式支
分类：
数据库 时间：
2018-06-19 16:31:38
阅读次数：
318
RabbitMQRedisZeroMQActiveMQKafka/Jafka相关概念RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP,SMTP,STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。Redis是一个基于Key
分类：
其他好文 时间：
2018-06-18 15:07:57
阅读次数：
161
不多说，直接上干货！ 全网最详细的启动zkfc进程时，出现INFO zookeeper.ClientCnxn: Opening socket connection to server***/192.168.80.151:2181. Will not attempt to authenticate u ...
分类：
编程语言 时间：
2018-06-17 15:09:20
阅读次数：
503
mysql与Oracle的区别一、并发性并发性是oltp数据库最重要的特性，但并发涉及到资源的获取、共享与锁定。mysql:mysql以表级锁为主，对资源锁定的粒度很大，如果一个session对一个表加锁时间过长，会让其他session无法更新此表中的数据。虽然InnoDB引擎的表可以用行级锁，但这个行级锁的机制依赖于表的索引，如果表没有索引，或者sql语句没有使用索引，那么仍然使用表级锁。
分类：
数据库 时间：
2018-06-17 12:34:24
阅读次数：
148
1.概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk ...
分类：
其他好文 时间：
2018-06-17 10:52:32
阅读次数：
195
网上关于kafka集群的搭建，基本是单个broker和单个zookeeper，测试研究的意义不大。于是折腾了下，终于把正宗的Kafka集群搭建出来了，在折腾中遇到了很多坑，后续有时间再专门整理份搭建问题分析 docker compose.yml配置文件 启动集群 查看容器启动状态 ...
分类：
其他好文 时间：
2018-06-15 20:05:19
阅读次数：
1363
