1.前言 目前我主要负责的是公司的营销活动类项目，基本都是直接面向用户端的，并且JS也没有如后端一样有完善的日志系统，因此线上的各种bug都非常难以迅速定位。在加入错误日志收集前，每次报告bug都要劳烦用户协助开发人员进行bug定位，这一方面对用户极不友好，同时也加大了Bug定位的难度；因此我们需要 ...
分类：
其他好文 时间：
2020-12-15 12:16:35
阅读次数：
3
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
实现原理 当使用多进程的时候。多个socketio服务器通过消息队列来沟通之间的客户端sid。若发现该sid在自己的连接中。就由该进程处理发送给其下面连接的客户端 详细的可以看这里 socket.io要实现多进程以及广播，房间等功能，势必需要接入一个redis之类的消息队列，进而socket.io的 ...
分类：
编程语言 时间：
2020-12-10 11:31:08
阅读次数：
14
一日一技：隐患——redis-py的blpop可能由于网络波动导致收不到信息摄影：产品经理厨师：kingname我们在使用Redis做消息队列的时候，常常使用列表这个数据结构，并写出如下的代码：importredisimporttimeclient=redis.Redis()whileTrue:data=client.lpop(‘key‘)ifnotdata:time.sleep(5*60)con
分类：
其他好文 时间：
2020-12-08 12:57:00
阅读次数：
15
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
DaemonSet是这样一种对象（守护进程），它在集群的每个节点上运行一个Pod，且保证只有一个Pod，这非常适合一些系统层面的应用，例如日志收集、资源监控等，这类应用需要每个节点都运行，且不需要太多实例，一个比较好的例子就是Kubernetes的kube-proxy。DaemonSet跟节点相关，如果节点异常，也不会在其他节点重新创建。图1DaemonSet下面是一个DaemonSet的示例。a
分类：
系统相关 时间：
2020-11-27 11:19:41
阅读次数：
15
前言 我在刚接触使用中间件的时候，发现，中间件的使用并不是最难的，反而是中间件的下载，安装，配置才是最难的。 所以，这篇文章我们从头开始学习RabbitMq，真正的从头开始。 关于消息队列 其实消息队列没有那么神秘，我们这样想一下，用户访问网站，最终是要将数据以HTTP的协议的方式，通过网络传输到主 ...
继之前的mysql夺命连环之后，我发现我这个标题被好多套用的，什么夺命zookeeper，夺命多线程一大堆，这一次，开始面试题系列MQ专题，消息队列作为日常常见的使用中间件，面试也是必问的点之一，一起来看看MQ的面试题。 你们为什么使用mq？具体的使用场景是什么？ mq的作用很简单，削峰填谷。以电商 ...
分类：
其他好文 时间：
2020-11-18 13:17:35
阅读次数：
6
今天抛一个话题，根据业务现象，一起讨论其后端实现是推还是拉？一、feed流可以理解为一个发布订阅业务，典型业务是微博（朋友圈）。你关注了姚晨的微博，姚晨发布了消息，你的主页能看到她最新发布的消息，这个场景是推送，还是拉取呢？画外音：微博是弱关系，关注无需对方同意，粉丝可以无上限；朋友圈是强关系，好友需要对方同意，好友个数有上线。如果推送，姚晨发布消息的时候，要把消息ID投递到所有粉丝的主页消息队列
分类：
其他好文 时间：
2020-11-18 12:21:07
阅读次数：
4
AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。 AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅） ...
分类：
其他好文 时间：
2020-11-13 13:06:15
阅读次数：
7
