系统状态查看命令: w 查看用户 top 系统进程监控 uptime 查看某台服务器运行了多久 htop 更加先进的交互式监控工具(需要安装) iotop 监控并实时显示磁盘IO输入和输出和程序进程(需要安装) iftop 网络带宽监控(需要安装) 查看进程: ps ps -ef 查看所有进程 ps ...
分类:
系统相关 时间:
2018-08-12 18:44:07
阅读次数:
162
高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的 CPU 耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘 IO 上。
MongoDB 分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作。分片技术可以满足 MongoDB 数据量大量增长的需求,当一台 MongoDB 服务器不足以存储海量数据或不足以提供可接受的读写吞吐量时,我们就可以通过在多台服务器上分割数据,使得数据库系统能存储和处理更多的数据。
分类:
数据库 时间:
2018-08-09 21:13:41
阅读次数:
282
Redis 是一个使用 ANSI C 编写的开源、基于内存、可选持久性的键值对存储数据库,被广泛应用于大型电商网站、视频网站和游戏应用等场景,能够有效减少数据库磁盘 IO, 提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。对传统磁盘数据库是一个重 要的补充,成为了互联网应用,尤其是支持高并 ...
分类:
其他好文 时间:
2018-08-08 14:52:35
阅读次数:
197
具有选择性(适合sum,max,不适合avg) 1.做优化:前提是不影响最终结果; a.实现map端到reduce端减少数据网络传输(网络IO) b.减少map Task数据输出(磁盘IO) 2.combine其实是Reduce,combine的输出作为reduce的输入 3.疑问:添加combin ...
分类:
其他好文 时间:
2018-07-28 13:52:11
阅读次数:
157
前言:Mysql有hash索引和btree索引两种方式, 一、先说明下操作系统的相关内容 数据库数据是保存在磁盘上的,为了提高性能,每次又可以把部分数据读入内存来计算。把磁盘中的数据读取到内存中就叫磁盘IO,每次IO把当前磁盘地址中的数据和相邻磁盘地址中的数据读取到内存缓冲区,每次IO读取的数据称为 ...
分类:
数据库 时间:
2018-07-26 21:15:10
阅读次数:
225
什么是分片高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。MongoDB分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作。分片技术可以满足MongoDB数据量大量增长的需求,当一台MongoDB服务器不足以存储海量数据或者不足以提供可接受的读写吞吐量时,我们
分类:
数据库 时间:
2018-07-23 11:03:53
阅读次数:
202
Sysbench的测试主要包括以下几个方面: 1、磁盘io性能 2、cpu性能 3、内存分配及传输速度 4、POSIX线程性能 5、调度程序性能 6、数据库性能(OLTP基准测试).sysbench 安装注:我这里选择源码包安装sysbench0.5版本下载软件 wget http://repo.p ...
分类:
数据库 时间:
2018-07-20 20:09:01
阅读次数:
213
MySql性能测试工具-sysbenchsysbench简介sysbench是跨平台的基准测试工具,支持多线程,支持多种数据库;主要包括以下几种测试:cpu性能磁盘io性能调度程序性能内存分配及传输速度POSIX线程性能数据库性能(OLTP基准测试)本文主要介绍对数据库性能的测试。下载安装包,地址https://github.com/akopytov/sysbench#wgethttps://gi
分类:
数据库 时间:
2018-07-19 10:43:03
阅读次数:
222
10.28 rsync工具介绍 rsync是一个实用的同步工具 需求:A目录的数据实时更新,将A的数据拷贝到B目录,每隔一小时拷贝一次使用cp命令:1 在A目录中找出最近1小时新增的内容拷贝到B(比较麻烦)2 直接拷贝A目录的所有内容将B目录覆盖(浪费时间和磁盘IO)cp命令不适用 rsync可以实现增量更新(rsync只会同步新增和有内容变更的文件);支持远程同步(
分类:
其他好文 时间:
2018-07-19 00:12:58
阅读次数:
218
基于CentOS7的mongodb分片群集简介高数据量和吞吐量的数据库应用会对单机的性能造成较大的压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。mongodb分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作。分片技术可以满足Mongodb数据量大量增长的需求。,当一台mongodb服务器不足以存储海量数据
分类:
数据库 时间:
2018-07-18 23:31:06
阅读次数:
223