RDD是只读记录分区的集合 ，只能通过在其他RDD执行确定的转换操作（如map、join和groupBy）或直接读取外部存储而创建，然而这些限制使得实现容错的开销很低。与分布式共享内存系统需要付出高昂代价的检查点和回滚机制不同， RDD通过Lineage来重建丢失的分区 ; 一个RDD包含如何从其他 ...
分类：
其他好文 时间：
2019-09-29 16:47:35
阅读次数：
105
CPU 架构SMP/NUMA，调优 SMP：全称是“对称多处理”（Symmetrical Multi Processing）技术 。 是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存以及总线。 弱点：CPU变多后，但是内存和内存控制器只有一个，CPU是通过内存控制器访问内存的，所 ...
分类：
其他好文 时间：
2019-09-27 19:13:22
阅读次数：
100
一对多 这里用到了两张表（订单表以及订单项表） 订单表： 订单项表： 一对多无非就是一个订单对应多个订单项 我们先用逆向生成工具生成t_hibernate_order、t_hibernate_order_item OrderVo： OrderItemVo： OrderItemMapper： Orde ...
分类：
其他好文 时间：
2019-09-27 19:09:38
阅读次数：
93
一、两种并发模型 多线程共享内存，以共享内存的方式来通信。比如java在访问共享数据的时候，通过加锁来实现，java.util.concurrent包。 CSP（communicating sequential processes）并发模型，以通信的方式来共享内存。Go的CSP并发模型是通过goro ...
分类：
编程语言 时间：
2019-09-24 10:38:58
阅读次数：
72
这段时间研究了一下资源表的优化方案，算是有了一些成果，在此记录下来。 先交代一下背景吧：我们的服务器把资源表放在共享内存上。这么做的原因主要是，进程core掉后再拉起时不需要重新再构建一遍资源表（构建资源表主要就是构建索引查询的数据结构，比如构建一个哈希表用于根据HeroID查询英雄配置这种）。然后 ...
分类：
其他好文 时间：
2019-09-19 01:43:41
阅读次数：
128
[TOC] 1. 概述 共享内存是可用IPC机制中最快的，一旦共享内存区映射到共享它的进程地址空间： 进程间的数据传递就不再执行需进入内核的系统调用 各个进程向共享内存读写数据往往需要某种形式的同步 这些进程间的同步通常使用Posix有名信号量或无名信号量 对比下面两张图所展示的例子： 不使用共享内 ...
分类：
其他好文 时间：
2019-09-16 23:44:57
阅读次数：
113
[TOC] 1. Posix IPC 概述 以下三种类型的IPC合称为Posix IPC： Posix信号量 Posix消息队列 Posix共享内存 Posix IPC在访问它们的函数和描述它们的信息上有一些类似点，主要包括： IPC名字 创建或打开时指定的读写权限、创建标志以及用户访问权限 下表汇 ...
分类：
其他好文 时间：
2019-09-15 10:53:02
阅读次数：
100
ORA-01034和ORA-27101的解决办法 出现ORA-01034和ORA-27101的原因是多方面的：主要是oracle当前的服务不可用，shared memory realm does not exist，是因为oracle没有启动或没有正常启动，共享内存并没有分配给当前实例.所以，通过设 ...
分类：
数据库 时间：
2019-09-11 11:38:47
阅读次数：
128
1. 900929 - Linux: STORAGE_PARAMETERS_WRONG_SET and "mmap() failed" Solution Solution Increase the value of the Linux kernel parameter "vm.max_map_cou ...
分类：
其他好文 时间：
2019-09-08 18:16:47
阅读次数：
105
spark建立在抽象的RDD上，把不同处理的数据的需求转化为RDD，然后对RDD进行一系列的算子运算，从而得到结果。RDD是一个容错的，并行的数据结构，可以将数据存储到磁盘和内存中，并能控制数据分区，并提供了丰富的API来操作数据。1：RDD的定义及五大特性剖析RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD时只读的记录分区的集合，能跨集群所有节点并行计算，是一种基于工作集
分类：
其他好文 时间：
2019-09-06 14:32:16
阅读次数：
103
