亲爱的儿子： 当你打开这封信的时候，我已经离开波士顿回到加州了，你也已经结束自己最后一个暑假，去往自己非常喜欢的公司。 虽然你我都是程序员，但是你却很少向我咨询过技术相关的问题，咱们上一次一起写代码，也是你高考结束那个暑假了。不过前几天你问了我一个问题，你说，如果让你写一封信，跟当初刚刚成为程序员的 ...
分类：
其他好文 时间：
2020-02-05 23:12:10
阅读次数：
98
一、两阶段提交 2PC 1、数据库层面的两阶段提交(XA trainsaction) 两阶段提交是目前经常使用的一种解决分布式事物的强一致性的一种方案，它是由事物协调器和若干个事物执行者（数据库本身）组成。 所谓两阶段提交就是将每一个事物拆分成 任务+提交，将任务的执行和任务提交分成两步。当客户端发 ...
分类：
其他好文 时间：
2020-02-05 18:51:42
阅读次数：
68
背景：因为公司收集终端盒子数据的kafka服务偶尔会倒，所以考虑使用kafka的分布式，增加broker节点，来提高系统的可用性。当然，zookeeper服务节点也是可以增加的，但不在本文范围内。 具体步骤如下： 1. 新加kafka服务，并启动 如果是同一服务器，则可以拷贝新建server.pro ...
分类：
其他好文 时间：
2020-02-05 09:33:24
阅读次数：
108
Kafka系列1：Kafka概况 Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容： Kafka简介 Kafka特点 Kafka基本概念 Kafka架构 Kafka的 ...
分类：
其他好文 时间：
2020-02-04 23:18:57
阅读次数：
78
聊聊最近，2020年，在2019年的年尾时，大家可谓对这年充满新希望，特别是有20200202这一天。可是澳洲长达几个月的大火，新型冠状病毒nCoV的发现，科比的去世等等事情，让大家感到相当的无奈，生命是如此的脆弱，明天又是如此的未知。但是人应当活在当下，勇敢的面对疫情，和大家和政府一起打赢这场没硝 ...
分类：
其他好文 时间：
2020-02-04 18:32:01
阅读次数：
65
Authorizing Kafka access over non-authenticated channel via Ranger This section answers some questions one is likely to encounter when trying to autho ...
分类：
数据库 时间：
2020-02-04 15:59:14
阅读次数：
83
1、Kafka简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩 ...
分类：
其他好文 时间：
2020-02-04 14:02:15
阅读次数：
58
概念Metrics是一个给JAVA服务的各项指标提供度量工具的包，在JAVA代码中嵌入Metrics代码，可以方便的对业务代码的各个指标进行监控目前最为流行的 metrics 库是来自 Coda Hale 的 dropwizard/metrics，该库被广泛地应用于各个知名的开源项目中。例如 Had... ...
分类：
编程语言 时间：
2020-02-04 13:42:14
阅读次数：
96
1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen ...
分类：
Web程序 时间：
2020-02-04 00:37:16
阅读次数：
104
项目中经常有需求不是消费kafka队列全部的数据，取区间数据 查询kafka最大的offset: ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.1.4:9092 --topic zhangyi --time ...
分类：
其他好文 时间：
2020-02-03 20:50:51
阅读次数：
99
