[TOC] （一）_thread模块实现多线程（已不推荐使用） 没有控制进程结束机制 只有一个同步原语（锁） （二）threading模块 threading.Thread join()让主线程等待 自定义Mythread （三）锁 threading.Lock() with语法 （四）队列 Que ...
分类：
编程语言 时间：
2020-01-15 00:04:53
阅读次数：
108
一、环境准备 机器： 10.21.58.94（coordinator服务） 10.21.58.95（worker服务） 10.21.58.96（worker服务） 下载presto环境并解压： 部署的presto版本为0.223.1，下载路径为 /opt/bigdata/app/ 下载地址：http ...
分类：
其他好文 时间：
2020-01-14 23:52:44
阅读次数：
164
Spark集群环境配置 我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。 conf/spark defaults.conf ...
分类：
Web程序 时间：
2020-01-14 23:29:31
阅读次数：
300
分布式锁 在实际应用场景中，我们可能有多个worker，可能在一台机器，也可能分布在不同的机器，但只有一个worker可以同时持有一把锁，这个时候我们就需要用到分布式锁了。 这里推荐python的实现库，Redlock-py (Python 实现). 正常情况下，worker获得锁后，处理自己的任务 ...
分类：
编程语言 时间：
2020-01-14 00:07:43
阅读次数：
119
[TOC] Celery介绍 Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞大，本章节我们先对其进行简单的了解，然后再去学习其他一些高级特性。 celery适用异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的 ...
分类：
其他好文 时间：
2020-01-12 18:34:52
阅读次数：
93
并发编程 多线程之——threa模块 >>> import time >>> time.ctime() 'Thu Jan 9 07:52:57 2020' import time """单线程示例 """ def worker(n): print(f'函数执行开始于:{time.ctime()}') ...
分类：
其他好文 时间：
2020-01-12 15:24:04
阅读次数：
83
Celery架构 Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（task result store）组成。 消息中间件 Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, ...
分类：
其他好文 时间：
2020-01-11 20:06:41
阅读次数：
97
1，指定 Protocol，初始化相应的 Endpoint，我们分析的是 NioEndpoint；2，init 过程：在 NioEndpoint 中做 bind 操作；3，start 过程：启动 worker 线程池，启动 1 个 Acceptor 和 2 个 Poller，当然它们都是默认值，可配 ...
分类：
其他好文 时间：
2020-01-11 00:28:42
阅读次数：
80
基本命令 要启动 nginx，只需输入： [sudo] nginx 当你的 nginx 实例运行时，你可以通过发送相应的信号来管理它： [sudo] nginx -s signal 可用的信号： stop – 快速关闭 quit – 优雅关闭 (等待 worker 线程完成处理) reload – ...
分类：
其他好文 时间：
2020-01-10 22:10:06
阅读次数：
62
Presto Presto、Impala性能比较 测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。 下载安装 1）下载地址 https://repo1.maven.org/maven2/com/faceb ...
分类：
其他好文 时间：
2020-01-10 01:22:27
阅读次数：
147
