1、任务中如何确定spark RDD分区数、task数目、core个数、worker节点个数、excutor数量 （1）hdfs 上的文件的存储形式是以 Block 的形式存储的，每个 File 文件都包含了很多块，一个Block默认是128M大小。当 spark 从 hdfs 上读取数据的时候，会 ...
分类：
其他好文 时间：
2020-02-12 16:16:22
阅读次数：
199
查找文本 sudo find /etc/nginx |xargs grep 'proxy' celery -A OnlinePay worker --loglevel=info --concurrency=1 ...
分类：
系统相关 时间：
2020-02-11 19:10:47
阅读次数：
114
作者最近用golang实现了一个TCP负载均衡器，灵感来自grpc。几个主要的特性就是：
- 支持高网络吞吐量
- 实现了基于机器性能评分来分配worker节点的负载均衡算法
- 尽量做到薄客户端，降低客户端复杂性 ...
分类：
其他好文 时间：
2020-02-10 22:20:46
阅读次数：
83
1、重要配置项 以下是一个完整的nginx配置信息。 # 以下是全局配置项 #指定运行nginx的用户和用户组，默认情况下该选项关闭（关闭的情况就是nobody） #user nobody nobody; #运行nginx的进程数量，后文详细讲解 worker_processes 1; #nginx ...
分类：
其他好文 时间：
2020-02-09 00:32:07
阅读次数：
71
【现象】 自己搭建虚拟机，搭建storm集群，然后访问阿里云物联网平台上的订阅服务amqp 然后发现当worker运行在第三个节点上的时候，就连接不上阿里云。 【调查】 刚开始怀疑虚拟机克隆之后，mac地址，uuid之类的冲突，尝试了修改 修改之后，仍然不好使，然后对三个虚拟机分别测试能否联网 测试 ...
分类：
其他好文 时间：
2020-02-08 16:00:26
阅读次数：
173
关于JavaScriptjavascript是一门单线程语言，是按照语句出现的顺序执行的。虽然在最新的HTML5中提出了Web-Worker，但javascript是单线程这一核心仍未改变。所以一切javascript版的”多线程”都是用单线程模拟出来的。JavaScript事件循环如果JavaSc... ...
分类：
编程语言 时间：
2020-02-08 11:38:51
阅读次数：
89
1. celery 介绍 1. celery 应用举例 2. celery 有什么优点？ 3. celer 基本工作流程图 user : 用户程序，用于告知celery去执行一个任务 broker : 存放任务 （依赖RabbitMQ 或 Redis, 进行存储） worker : 执行任务 4. ...
分类：
其他好文 时间：
2020-02-07 17:00:30
阅读次数：
60
可以让js在分线程执行 Worker 问题: worker内代码不能操作DOM更新UI 不是每个浏览器都支持这个新特性 不能跨域加载JS svn版本控制 svn server demo：使用 web workers计算斐波那契，验证执行效率 demo：使用 web workers计算斐波那契，验证执 ...
分类：
Web程序 时间：
2020-02-03 22:11:06
阅读次数：
103
K8S环境中实践高可靠的配置和技巧都有哪些？ 磁盘类型及大小 磁盘类型： 推荐使用ssd 磁盘 对于worker节点，创建集群时推荐使用挂载数据盘。这个盘是专门给/var/lib/docker 存放本地镜像。可以避免后续因镜像太多而造成磁盘根目录容量不够的情况。在运行一段时间后，本地会存在很多无用的 ...
分类：
其他好文 时间：
2020-02-02 21:42:07
阅读次数：
152
其实每个人或多或少都知道，nginx reload后的步骤，1. nginx master进程接收到信号时，进行检查配置文件，当检查结束后，会产生新的worker进程，并且销毁没有使用的worker进程，这篇博客主要是再来验证该reload步骤。 机器：Linux WindowsXP 4.15.0- ...
分类：
其他好文 时间：
2020-02-01 20:59:08
阅读次数：
66
