本文的重点是在普通但具有商业意义的环境中的分布式编程和系统:数据中心。例如,我不会讨论因非典型网络配置而引起的特殊问题,或者因为共享内存设置引起的特殊问题。此外,我们的重点在于探索系统设计领域,而不是针对任何特定设计的优化——后者是更专业的文章的主题。 ...
分类:
其他好文 时间:
2021-03-29 12:19:51
阅读次数:
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1)使用mapreduce进行批量离线分析; 2)使用hive进行历史数据的分析; 3)使用hbase进行实时数据的查询; 4)使用storm进行实时的流处理; (2)选用spark的原因 1) 应用于流式计算的S ...
分类:
其他好文 时间:
2021-03-16 13:32:12
阅读次数:
0
背景 对于 Android 轻量级存储方案,有大多数人都很熟悉的 SharedPreferences;也有基于 mmap 的高性能组件 MMKV,底层序列化/反序列化使用 protobuf 实现,性能高,稳定性强;还有 Jetpack DataStore 是一种数据存储解决方案,允许您使用协议缓冲区 ...
分类:
移动开发 时间:
2021-03-12 13:28:05
阅读次数:
0
包括三方面 1 sysctl.conf //扩大文件句柄数 fs.aio-max-nr = 1048576 fs.file-max = 6815744 // 扩大共享内存段 影响SGA kernel.shmmax = 4294967295 共享内存段的最大字节尺寸(以字节为单位)推荐设置成内存的80 ...
分类:
数据库 时间:
2021-03-09 13:57:32
阅读次数:
0
关键字 const 和 volatile 规定了指针的处理方式: const 规定指针在初始化后是受保护的,不能够再修改。 volatile 规定了变量的值能够被用户应用程序外部的操作所修改。 因此,关键字 volatile 可以声明共享内存中的对象来和中断服务例程进行通信。共享内存可以被多个进程或 ...
分类:
其他好文 时间:
2021-02-10 13:42:48
阅读次数:
0
原文地址:https://martinfowler.com/articles/patterns-of-distributed-systems/wal.html Write-Ahead log 预写日志 预写日志(WAL,Write-Ahead Log)将每次状态更新抽象为一个命令并追加写入一个日志中 ...
分类:
其他好文 时间:
2021-02-09 12:34:16
阅读次数:
0
GDB调试命令总结 步入 ssi n ni 注:n和s针对源代码的步入,而ni和si针对汇编语言,并且使用s/si步入时遇到函数会进入到函数内部,而n/ni不会 下断点 b(break) b function_name b *<addr> delete num //删除序号为num的断点 执行 r( ...
分类:
数据库 时间:
2021-01-30 11:58:22
阅读次数:
0
本文主要浅析了MMap基础概念、内存映射原理、Mmap和常规文件操作的区别、Mmap优点总结、Mmap相关函数、Mmap使用细节等知识 ...
分类:
系统相关 时间:
2021-01-07 12:04:18
阅读次数:
0
前言 知识点 消息队列、信号量 和 共享内存 被统称为 system-V IPC 以上都是“持续性”资源,即它们被创建之后, 不会因为进程的退出而消失 6. 共享内存 6.1 概念 共享内存 共享内存是进程间通信中最简单的方式之一 是效率最高的一种IPC通信机制 它允许多个不相关的进程访问同一个逻辑 ...
分类:
系统相关 时间:
2021-01-04 11:19:12
阅读次数:
0
在 CUDA C/C++ kernel中使用内存 如何在主机和设备之间高效地移动数据。本文将讨论如何有效地从内核中访问设备存储器,特别是 全局内存 。 在 CUDA 设备上有几种内存,每种内存的作用域、生存期和缓存行为都不同。到目前为止,已经使用了驻留在设备 DRAM 中的 全局内存 ,用于主机和设 ...
分类:
编程语言 时间:
2020-12-10 11:00:10
阅读次数:
5