Authorizing Kafka access over non-authenticated channel via Ranger This section answers some questions one is likely to encounter when trying to autho ...
分类：
数据库 时间：
2020-02-04 15:59:14
阅读次数：
83
1、Kafka简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩 ...
分类：
其他好文 时间：
2020-02-04 14:02:15
阅读次数：
58
概念Metrics是一个给JAVA服务的各项指标提供度量工具的包，在JAVA代码中嵌入Metrics代码，可以方便的对业务代码的各个指标进行监控目前最为流行的 metrics 库是来自 Coda Hale 的 dropwizard/metrics，该库被广泛地应用于各个知名的开源项目中。例如 Had... ...
分类：
编程语言 时间：
2020-02-04 13:42:14
阅读次数：
96
1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen ...
分类：
Web程序 时间：
2020-02-04 00:37:16
阅读次数：
104
项目中经常有需求不是消费kafka队列全部的数据，取区间数据 查询kafka最大的offset: ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.1.4:9092 --topic zhangyi --time ...
分类：
其他好文 时间：
2020-02-03 20:50:51
阅读次数：
99
一直在使用kafka，遇到过很多问题，总结一下很多人对比kafka和AMQP的时候，都会强调kafka会丢数据，感觉好像只要用kafka就会丢数据一样，从而排斥使用kafka，亦或者在使用的过程中，发现数据丢失就认定罪魁祸首是kafka，好像丢数据就是使用kafka的代价。悄悄的鄙视一下这些伪程序猿... ...
分类：
其他好文 时间：
2020-02-03 15:42:43
阅读次数：
56
1、《HBase基础概念知识学习》 https://www.toutiao.com/i6774215329498268164/ 2、《VM安装CentOS6.5》 https://www.toutiao.com/i6739774433692484109/ 3、《HBase基础环境搭建》 https: ...
分类：
其他好文 时间：
2020-02-02 13:35:37
阅读次数：
73
如果走技术路线，架构师是个关键的结点。如果在大厂，一般有有6年时间足以升级到高级开发。因为在大厂里，能提供架构师所需的分布式组件开发调试以及上线的经验，上进点的程序员只要跟着大流，多通过排查问题观察底层，多通过压测或部署组件多实践缓存、高并发高可能之类的技术，想不升级到架构师都难。 但不少程序员止步 ...
分类：
其他好文 时间：
2020-02-01 14:46:26
阅读次数：
77
在此目录下运行命令/opt/kafka_2.12-2.2.0/ 启动内置的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka服务bin/kafka-server-start.sh config/serv ...
分类：
其他好文 时间：
2020-02-01 14:25:52
阅读次数：
58
一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些 ...
分类：
其他好文 时间：
2020-02-01 00:54:38
阅读次数：
84
