一、什么是高并发 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per ...
分类：
其他好文 时间：
2018-06-06 15:54:01
阅读次数：
268
tomcat启动参数，将JVM GC信息写入tomcat_gc.log CATALINA_OPTS='-Xms512m -Xmx4096m -XX:PermSize=64M -XX:MaxNewSize=128m -XX:MaxPermSize=64m -XX:ParallelGCThreads=8 ...
分类：
其他好文 时间：
2018-06-06 12:41:46
阅读次数：
188
读<C#并发编程经典实例.PDF>总结： 如果程序中存在大量的计算任务，并且这些任务能够分割成几个独立的任务块，那么就应该使用并行编程。 并行编程可提高CPU利用率。 通常情况下，服务器程序不适合并行编程。大多数服务器本身就具有并行能力，在服务器上进行并行编程，将降低本身的并行处理能力，不会有实际的 ...
分类：
其他好文 时间：
2018-06-05 11:38:13
阅读次数：
116
读【C#并发编程经典实例.PDF】一书总结： 1、并发：同时做多件事。 2、多线程：并发的一种形式，它采用多个线程来执行程序。所以多线程只是实现并发的一种方法，并发不等于多线程。 3、并行处理：把正在执行的大量任务分隔成小块，分配给多个正在运行的线程。 并行处理是多线程的一种，多线程是并发的一种。 ...
分类：
其他好文 时间：
2018-06-01 14:27:19
阅读次数：
154
一、什么是高并发 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per ...
分类：
其他好文 时间：
2018-06-01 01:02:20
阅读次数：
232
前言：MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。MapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。到了2.0之后，MapReduce可以理解为是一个j
分类：
其他好文 时间：
2018-05-29 21:42:58
阅读次数：
166
在我们开发过程中，我们都知道想要提高程序效率，我们可以启用多线程去并行处理，而java8中对数据处理也提供了它得并行方法，今天就来简单学习一下java8中得并行流与顺序流。 并行流就是把一个内容分成多个数据块，并用不同的线程分别处理每个数据块的流。 Java8中将并行流进行了优化，我们可以很容易的对 ...
分类：
编程语言 时间：
2018-05-28 00:49:16
阅读次数：
286
1、foreachRDD设计模式 正确使用foreachRDD的方式，每一个分区创建一个单例connection对象。 2、并行机制 数据并行接收，以kafka为例，从多个topics接收数据。 数据并行处理 和spark.default.parallelism有关。 3、提交Jobs Driver ...
分类：
其他好文 时间：
2018-05-24 18:07:05
阅读次数：
165
Greeplum 系列（一） Greenplum 架构 Greenplum 可进行海量并行处理 (Massively Parallel Processing) 一、Greenplum 体系架构 Greenplum 由三部分组成：Master Host、Segment、Interconnect。 1. ...
分类：
其他好文 时间：
2018-05-23 22:17:49
阅读次数：
264
MapReduce的处理过程分为两个步骤：map和reduce。 每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。 map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。 如果有多个map任务同时运行（通常都是这样） ...
分类：
其他好文 时间：
2018-05-21 17:01:46
阅读次数：
111
