1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
Elasticsearch系列 00-ElasticSearch之-介绍 01-ElasticSearch之-安装 02-ElasticSearch之-插件介绍 03-ElasticSearch之-ElasticSearch-head 04-ElasticSearch之-安装Kibana 05-El ...
分类：
其他好文 时间：
2020-11-16 13:48:01
阅读次数：
9
在互联网飞速发展的时代，视频应用无处不在，各行各业对视频技术的需求开始爆发。伴随视频分辨率的提高，音视频玩法的快速更新以及用户对观看体验需求的不断增加，越来越多的应用场景对音视频技术提出了更高的要求。 8月24日，LiveVideoStack联合腾讯云出品“一站式体验腾讯云音视频及融合通信技术”专题 ...
分类：
其他好文 时间：
2020-11-16 12:58:42
阅读次数：
6
1、DR模式下vip不在同一网段上实现过程（跨网段） #CIP配置 [root@centos8 ~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0 # Generated by dracut initrd NAME="eth0" DEVICE="eth0 ...
分类：
其他好文 时间：
2020-11-13 13:22:25
阅读次数：
34
自来水供应保障市民生活用水，自来水管道状态监测尤为重要，一旦发生爆裂等意外状况便会影响人们正常生活，5g工业路由器实现城市自来水管网无线监控系统。 5g工业路由器下自来水管网无线监控系统，利用工业路由器TR341采集监测自来水管道流量、水表、水压，数据通过无线网络传输至云平台，实时监测管道状态，遇到 ...
分类：
其他好文 时间：
2020-11-13 12:23:30
阅读次数：
8
准备两个linux宿主机- linux-node1: Elasticsearch + Logstash + Kibana linux-node2: Logstash + redis linux-node1 安装 ELK 配置logstash将redis数据送给ES [root@linux-node1 ...
分类：
其他好文 时间：
2020-11-12 13:59:11
阅读次数：
7
蓄水池算法 分析一下蓄水池算法在抽奖中的应用。 应用场合 考虑参加抽奖的用户基数很大且未知，也可以说是这个基数可能会动态地增加，那么在这种情况下，固定选取k个人中奖，如何保证实时参加抽奖的n个用户中每个人中奖的概率为k/n呢？（为何不在最终结果n出来时再来随机抽取k个样本，保证概率为k/n呢？其实这 ...
分类：
编程语言 时间：
2020-11-12 13:29:05
阅读次数：
7
每天记录学习，每天会有好心情。_ 今天记录的项目是企业JAVA在线网上商城系统，企业JAVA在线网上商城系统项目是这么回事：网上订单系统是专为贸易型或生产型企业开发的新一代实时网上订单管理平台，采用当前非常流行的B/S体系结构,以JAVA作为开发技术,主要依赖SSM技术框架，mysql数据库建立本系 ...
分类：
编程语言 时间：
2020-11-11 15:47:07
阅读次数：
7
继续答星球水友提问，30WQPS的点赞计数业务，如何设计？可以看到，这个业务的特点是：（1）吞吐量超高；（2）能够接受一定数据不一致；画外音：计数有微小不准确，不是大问题。先用最朴素的思想，只考虑点赞计数，可以怎么做？有几点是最容易想到的：（1）肯定不能用数据库抗实时读写流量；（2）redis天然支持固化，可以用高可用redis集群来做固化存储；（3）也可以用MySQL来做固化存储，redis做缓
分类：
其他好文 时间：
2020-11-10 11:30:42
阅读次数：
6
Celery 1.什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（ta ...
分类：
其他好文 时间：
2020-11-10 11:18:05
阅读次数：
9
