"深入理解Kafka必知必会(1)" Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么? __consumer_offsets:作用是保存 Kafka 消费者的位移信息 __transaction_state:用来存储事务日志消息 优先副本是什么?它有什么特殊的作用? 所谓的 ...
分类:
其他好文 时间:
2019-11-22 00:53:53
阅读次数:
58
Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类:
Web程序 时间:
2019-11-21 21:27:34
阅读次数:
113
简介 GTID是MySQL 5.6的新特性,其全称是Global Transaction Identifier,可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯一标识一个事务。当事务提交时,MySQL Server在写binlog的时候,会先写一个特殊的Binlog E ...
分类:
数据库 时间:
2019-11-21 15:30:23
阅读次数:
94
什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类:
其他好文 时间:
2019-11-21 13:56:11
阅读次数:
103
数据库事务(Database Transaction): 是指作为单个逻辑工作单元执行的一系列操作,要么完全地执行,要么完全地不执行。 简单的说:事务就是将一堆SQL(通常是增删改操作)的执行绑在一起,要么都执行成功,要么都执行失败,即都执行成功才算成功,否则就会恢复到这堆SQL执行之前的状态。 事 ...
分类:
数据库 时间:
2019-11-18 20:20:51
阅读次数:
92
//0.开始事务 begin;/begin work;/start transaction; (三者选一就可以) //1.查询出商品信息 select status from table where id=1 for update; //2.根据商品信息生成订单 insert into table1 ...
分类:
数据库 时间:
2019-11-18 12:53:04
阅读次数:
83
大数据从入门到入土 语言基础:java(Java se,javaweb) Linux 基础:Linux(shell,高并发架构,lucene,solr) 框架学习:Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) ...
分类:
其他好文 时间:
2019-11-16 21:47:53
阅读次数:
107
1、在学习Hibernate多对多关系的时候遇到了一下异常: 主函数出现了空指针异常: public static void testadd() { Session session = HibernateUtils.openSession();//获得session Transaction tran ...
分类:
编程语言 时间:
2019-11-16 11:03:49
阅读次数:
76
https://www.cnblogs.com/qingyunzong/p/8994494.html ...
分类:
Web程序 时间:
2019-11-16 10:34:01
阅读次数:
56
目前我们使用的一个 b 端软件的报错日志分散在集群各处,现在想把它收集到一个地方然后统一丢进 Kafka 提供给下游业务进行消费。 我想到了 flume,之前让同事搭建的这次自己想多了解一些细节于是就开搞了。 首先还是下载 flume 的客户端,这里我使用最新版本 1.9.0 设置需要的 java ...
分类:
Web程序 时间:
2019-11-15 18:26:10
阅读次数:
89