MapReduce能够计算非常复杂的聚合逻辑,非常灵活,但是,MapReduce非常慢,不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行,每台Server只负责完成一部分wordload,最后将wordload发送到MasterServer上合并,计算出最终的结果集,返回客户端。MapReduce的基本思想,如下图所示:在这个例子中,我们以一个求和为例。首先执行Map
分类:
数据库 时间:
2020-09-18 00:43:16
阅读次数:
38
进程:是并发执行的程序在执行过程中分配和管理资源的基本单位,是一个动态概念,竞争计算机系统资源的基本单位。 线程:是进程的一个执行单元,是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。 一个程序至少一个进程,一个进程至少一个线程。 进程线程的区别: 地址空间:同一进程的线 ...
分类:
编程语言 时间:
2020-09-18 00:19:22
阅读次数:
47
定义 Locust是一款易于使用的分布式负载测试工具。即使一个Locust节点也可以在一个进程中支持数千个用户的并发,主要通过gevent(协程)的方式。 Locust是完全基于Python,http请求完全是基于requests库。Locust支持http、https协议,还支持测试其他协议,we ...
分类:
其他好文 时间:
2020-09-18 00:16:11
阅读次数:
34
场景设计 1.哪些业务需要做压力测试? 比较常用的业务场景(or 功能模块) 单业务场景/或者多业务场景 项目要求做的业务场景 2.压力测试的并发数是多少? 有预期的数值?一次性达到?还是逐步达到?有上次性能测试的结果值?(参考上次的数值) ; 无预期的数值?只有参考的在线用户数(如果没有预期,没有 ...
分类:
其他好文 时间:
2020-09-18 00:07:11
阅读次数:
35
?商业智能战略的制定非常重要,它是实施BI解决方案的第一步。提出重要问题,例如:谁是关键利益相关者?谁将使用此系统?哪些部门需要商业智能,需要测量哪些指标?内容作者和信息使用者需要什么样的支持?数据发展的今天,各个行业都受到了大数据的影响。企业每天都会生成种类繁多的大量数据。为了做出更明智的决策、发现问题并实现盈利,就需要通过一些方法和工具来将数据转化为可行的见解。合理利用大数据带来的便利,将更有
分类:
其他好文 时间:
2020-09-17 22:41:42
阅读次数:
24
第1章 MySql架构 1.1 MySql逻辑架构 第一层:连接层,负责连接处理、授权认证、安全等。 第二层:Server层,提供MySql核心服务,查询解析、分析、优化、缓存、内置函数、存储过程、触发器、视图等跨存储引擎的功能。 第三层:存储引擎层。负责数据的存储和提取。 1.2 并发控制 服务器 ...
分类:
数据库 时间:
2020-09-17 21:40:41
阅读次数:
36
TPL - Task Parallel Library为我们提供了Task相关的api,供我们非常方便的编写并行代码,而不用自己操作底层的Thread类。使用Task的优势是显而易见的: 提供返回值 异常捕获 节省Context Switch造成的开销 另一个Task带来的优势就是不再需要通过阻塞线 ...
分类:
其他好文 时间:
2020-09-17 21:21:09
阅读次数:
43
线程学习二 串行、并发、并行 串行 串行如图所示: 串行可以理解为鱼贯而行,任务一个个完成,可以遵循某一原则,但是必须完成前一个任务之后才能完成下一个任务。时间是线性的,即所有程序运行时间之和。 并发 并发如图所示: 并发就是在一段时间内以交替的方式去完成多个任务,可以理解为,cpu内部有一个时间片 ...
分类:
编程语言 时间:
2020-09-17 20:28:06
阅读次数:
32
3.1 概述 当需要排查各种内存溢出、内存泄漏问题时,当垃圾收集成为系统达到高并发的瓶颈时,就必须研究垃圾回收了。 程序计数器、虚拟机栈、本地方法栈随线程生,随线程死,不用过多的考虑垃圾回收的问题。 java堆和方法区则有着很明显的不确定性:一个接口的多个实现类需要的内存可能会不一样,一个方法所执行 ...
分类:
其他好文 时间:
2020-09-17 20:27:50
阅读次数:
31
因为工作需要需要开发一个表格,列固定,但是行需要合并,而且不固定需要根据返回数据动态显示隐藏,样子如下: 行的分类可能有或者没有,可能有公务员领导职务分类或者没有,没有的话就不会显示它的数据。 el-table官方文档 看官方文档使用的方法就是span-method, 详细部分请查阅资料 // 学历 ...
分类:
其他好文 时间:
2020-09-17 20:26:52
阅读次数:
31