技术点：springcloud + kafka + hbase + mogodb 1、建立实体对象 浏览商品行为 ScanProductLog 收藏商品行为 CollectProductLog 购物车行为 BuyCartProductLog 关注商品行为 AttentionProductLog 2、 ...
分类：
其他好文 时间：
2020-02-23 14:57:19
阅读次数：
95
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
kafka broker：运行kafka server的服务被称为broker,它主要用于接手topic消息，管理topic,持久化和存储topic数据，kafka审计，kafka权限管理等。 topic:消息主题，每个topic唯一，可存储和传输数据。(MQ中通常有Topic和Queue 2中消息 ...
分类：
其他好文 时间：
2020-02-22 18:31:35
阅读次数：
82
1. 开启 2. 通过浏览器访问node节点，http://IP:50070 检查 (如果无法访问，将防火墙关闭) 如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，（格式化会重新创建hadoop/tmp），再次启动 3. 操作分布式 ...
分类：
Web程序 时间：
2020-02-22 11:57:30
阅读次数：
81
安装kafka之前先安装JDK..... 一:安装Zookeeper Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 1:下载安装文件：https://download.csdn.net/download/weixin_33446857/106 ...
Topic主题用来区分不同类型的消息，实际也就是适用于不同的业务场景，默认消息保存一周时间； 同一个Topic主题下，默认是一个partition分区，也就是只能有一个消费者来消费，如果想提升消费能力，就需要增加分区； 同一个Topic的多个分区，可以有三种方式分派消息(key,value)到不同的 ...
分类：
其他好文 时间：
2020-02-21 16:30:22
阅读次数：
298
kafka 分布式，基于zookeeper协调的分布式消息系统，支持分区（partition）多副本(replica) 每秒10万的吞吐量，零拷贝，不经过内存 端口默认9092 1、消费者 producer 自己决定向哪个partition生产消息，两种机制：hash,轮询 2、partiton 分 ...
分类：
其他好文 时间：
2020-02-21 14:48:16
阅读次数：
76
cluster.name: elasticsearch 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。 node.name: "Franz Kafka" 节点名，默认随机指定一个name列表中名字 ...
分类：
其他好文 时间：
2020-02-20 22:13:54
阅读次数：
66
创建主题： 创建主题（4个分区，2个副本）kafka-topics.sh --create --zookeeper 192.168.130.37:2181,192.168.130.38:2181,192.168.130.39:2181 --replication-factor 2 --partiti ...
分类：
其他好文 时间：
2020-02-20 16:55:38
阅读次数：
70
