总的来说，需要考虑以下两点： 1. 有效地运用集群资源去减少每个批次处理的时间 2. 正确的设置batch size，以使得处理速度能跟上接收速度 一. 为了减少处理时间，主要有以下几个优化点： 1. 接收数据的并行度。 每个InputDStream只创建一个Receiver用于接收数据，如果接收数 ...
分类：
其他好文 时间：
2017-12-14 17:56:48
阅读次数：
1020
Storm 性能优化目录场景假设调优步骤和方法Storm 的部分特性Storm 并行度Storm 消息机制Storm UI 解析性能优化场景假设在介绍 Storm 的性能调优方法之前，假设一个场景：项目组部署了3台机器，计划运行且仅运行 Storm(1.0.1) + Kafka(0.9.0.1) +... ...
分类：
其他好文 时间：
2017-12-09 00:48:46
阅读次数：
254
SQL Server强制使用特定索引 、并行度 修改或删除数据前先备份，先备份，先备份（重要事情说三遍） 很多时候你或许为了测试、或许为了规避并发给你SQL带来的一些问题，常常需要强制指定目标sql选择某个索引或并行度去执行，今天给大家分享一下SQL的强制行为11 1、强制使用某个索引 select ...
分类：
数据库 时间：
2017-11-24 19:13:02
阅读次数：
325
首先，浏览器对于script的下载是避免并行进行的。HTTP/1.1协议中规定浏览器和同一host之间只建立最多两个连接，也就是说允许的最 大并行度为2（当然，对IE和Firefox来说，你都可以通过修改浏览器的设置来扩大这个并行度）。但对于Script的下载来说，浏览器在开始下载 Script之后 ...
分类：
其他好文 时间：
2017-11-18 21:05:15
阅读次数：
203
Spark Streaming与Storm都可以做实时计算，那么在做技术选型的时候到底应该选择哪个呢？通过下图可以从计算模型、计算延迟、吞吐量、事物、容错性、动态并行度等方方面进行对比。 对于Storm来说： 1、建议在那种需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进 ...
分类：
其他好文 时间：
2017-10-07 15:00:20
阅读次数：
126
1.当container=10，partition个数为60，core=2时： Greenplum的并发查询为20个，CPU高达90%以上 greenplum: 2.当partition=1时，只有一个container从gp取得数据 greenplum的CPU属于正常范围。 3.当减少并行度时，c ...
分类：
数据库 时间：
2017-09-26 13:34:44
阅读次数：
473
需求我们在编程时，尤其是在涉及到系统环境的程序开发中，可能会需要动态的获得当前机器中可用的CPU核数。例如，当我们需要做并行计算时，我们可能会根据CPU核数来决定并行度，因此我们需要在C程序中获得当前机器中可用的CPU核数。 方法为了跨平台的需要，我们需要同时考虑在不同平台下获取机器处理器核数的方法 ...
分类：
其他好文 时间：
2017-09-22 11:48:49
阅读次数：
198
合理的并行度 减少任务启动开销 选择合适的batch Duration 内存调优 设置合理的cpu数 ...
分类：
其他好文 时间：
2017-09-08 01:23:55
阅读次数：
167
1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStreaming微批处理，每次处理的都是一批非常小的数据Storm支持动态调整并行度（动态的资源分配），SparkStreaming(粗粒度， 比较消耗资源) Storm 纯实时的 ...
分类：
其他好文 时间：
2017-09-01 14:35:43
阅读次数：
291
fasthttp中的协程池实现协程池可以控制并行度，复用协程。fasthttp 比 net/http 效率高很多倍的重要原因，就是利用了协程池。实现并不复杂，我们可以参考他的设计，写出高性能的应用。入口// server.go func (s *Server) Serve(ln net.Listen... ...
分类：
Web程序 时间：
2017-08-30 15:42:58
阅读次数：
231
