一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
分布式框架下，如何保证事物一致性一直是一个热门话题。当然事物一致性解决方案有很多种（请参考：分布式事物一致性设计思路），我们今天主要介绍TCC方案解决的思路。以下是参与设计讨论的一种解决思路，大家有问题请留言。 1、基本概念 TI：Transaction Interceptor，事务拦截器，位于da ...
分类：
其他好文 时间：
2019-08-31 16:52:17
阅读次数：
93
自治事务 - autonomous transaction 在Oracle数据库中，有时候我们会希望记录一个过程或者函数的运行日志，不管正常运行结束还是触发异常结束，都要记录。 正常结束的没有问题，但是触发异常的情况下，一般的过程或者函数显然不能在插入运行日志之后直接Commit，因为触发异常后相关 ...
分类：
数据库 时间：
2019-08-30 13:17:51
阅读次数：
127
关于事务处理机制ACID，记一下 原子、一致、隔离、持久，顾名思义不解释。 spring提供的事务处理接口：platformtransactionmanager，事务管理框架，名字好大。 使用@Transaction 注解声明事务（可以在类，也可以在方法上（方法会覆盖类上的注解属性）） 它的属性比较 ...
分类：
编程语言 时间：
2019-08-29 23:47:33
阅读次数：
158
1. Oracle是大型数据库而Mysql是中小型数据库，Oracle市场占有率达40%，Mysql只有20%左右，同时Mysql是开源的而Oracle价格非常高。 2. Oracle支持大并发，大访问量，是OLTP(On-Line Transaction Processing联机事务处理系统)最好 ...
分类：
数据库 时间：
2019-08-27 15:46:40
阅读次数：
117
在 MySQL 命令行的默认设置下，事务都是自动提交的，即执行 SQL 语句后就会马上执行 COMMIT 操作。因此要显式地开启一个事务务须使用命令 BEGIN 或 START TRANSACTION，或者执行命令 SET AUTOCOMMIT=0，用来禁止使用当前会话的自动提交。 菜鸟教程：htt ...
分类：
数据库 时间：
2019-08-27 09:15:55
阅读次数：
107
第一步：在主服务器跑mysqldump --master-data=2 --single-transaction -uroot -p dbname > /root/mysqldump.sql 第二步：把主服务器产生的mysqldump.sql 做gzip 压缩，上传到从服务器 第三步：在从服务器上s ...
分类：
数据库 时间：
2019-08-26 23:01:33
阅读次数：
114
事务的基本流程： 开启事务：start transaction; 创建一个保存点：savepoint 保存点名 回到保存点（根据具体情况）：rollback to保存点名 在MySQL上具体演示： 实务操作的注意事项： 1、如果没有设置事务保存点，也可以回滚，只能回滚到事务的开始，直接使用rollb ...
分类：
其他好文 时间：
2019-08-24 14:53:34
阅读次数：
75
背景 Hadoop业务的整体开发流程： ? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需 ...
分类：
Web程序 时间：
2019-08-20 21:59:27
阅读次数：
152
1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 1.1 broker：安装了kafka服务的机器称之为broker 1.2 topic（主题）:是用来存放消息， ...
分类：
其他好文 时间：
2019-08-20 10:40:28
阅读次数：
73
