Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如 ps -ef | grep kafka 可以看到kafka这个程序的进程id 可以看到是2913，现在可以使用如下命令查看内存： top -p 2913 这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行 ...
分类：
系统相关 时间：
2020-04-05 09:50:06
阅读次数：
86
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
前言最近在用kafka做项目，所以本地搭建下kafka，但是又嫌java安装和安装kafka太麻烦，所以想到用docker来部署。镜像wurstmeister/kafka维护较为频繁的一个Kafka镜像。只包含了Kafka，因此需要另行提供ZooKeeper，推荐使用同一作者提交的wurstmeister/zookeeper。现在已经提供较新的1.1.0版本。搭建开发环境1ZooKeeper&am
分类：
其他好文 时间：
2020-04-03 18:14:05
阅读次数：
57
kafka是可以保证同一个分区里面的消息写入是有序的。也就是说，如果生产者按照一定的顺序发送消息，broker就会按照这个消息顺序来将他们写入分区，消费者也会按照一定的顺序将他们写入分区，消费者也会按照同样的顺序读取它们。 在某些情况下，数据的顺序是很重要的，例如，在一个账户存入100元再取出来 和 ...
分类：
其他好文 时间：
2020-04-03 15:05:39
阅读次数：
225
感谢参考原文-http://bjbsair.com/2020-04-01/tech-info/18512.html目标：使用Kafka和使用Redis的服务层编写数据管道。先决条件请根据您的操作系统安装以下组件：·Kafka·Zookeeper·Redis·Java目标观众本文针对的是正在构建第一个数据管道的工程师。但是，已建立数据管道的工程师可以快速浏览它。期待什么关于如何建立数据管道的概念证明
分类：
其他好文 时间：
2020-04-02 17:53:02
阅读次数：
59
mac python3.7消费kafka数据时报错如下： kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression codec not found 解决方案： 1. brew ...
分类：
移动开发 时间：
2020-04-02 14:25:37
阅读次数：
246
通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的，producer发布的信息consumer能够接收到。 但是java通过kafka-client的API写的代码始终不能跟kafka通信：java produce ...
分类：
编程语言 时间：
2020-04-02 10:24:08
阅读次数：
530
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
