实现一个高效的网络日志库要解决那些问题？ 首先明确一下问题的模型，这是一个典型的多生产者 单消费者问题，对于前端的日志库使用者来说，应该做到非阻塞添加，作为后端的文件写入，应该注意磁盘IO的瓶颈。 功能需求 1. 日志的级别分级 2. 发生时间和具体线程信息 3. 线程安全 实现思路 多个线程共有一 ...
分类：
编程语言 时间：
2018-04-20 00:17:21
阅读次数：
256
ok，废话不多说，上干货。 调优思路： ? 0.硬件优化 ? 1.数据库设计与规划--以后再修改很麻烦，估计数据量，使用什么存储引擎 ? 2.数据的应用--怎样取数据，sql 语句的优化 ? 3.磁盘 io 优化 ? 4.mysql 服务优化--内存的使用，磁盘的使用 ? 5.my.cnf 内参数的 ...
分类：
数据库 时间：
2018-04-20 00:09:19
阅读次数：
211
ceph为3台，3mon3mgr9osd，网卡千兆交换机千兆，只进行了内核最大文件数和进程数调整，4核cpu16G内存希捷硬盘为1t#利用for循环多次测试foriin{1..10};dofioxxx>>suijixie.txt;doneegrep"^write"/home/data/suijixie.txt查看结果#测试随机写fio-direct=1-iodepth=128-rw=r
分类：
其他好文 时间：
2018-04-19 17:01:09
阅读次数：
182
当我们业务处理的逻辑不太复杂，且需要访问的数据量是海量的时候，建议使用sp对数据做操作而不是程序。 原因： 1.从耗能的角度： 海量的数据处理不管放在sp里面还是代码里面，都会增加服务器的负载。放在sp里面处理，会增加其所在数据库服务器磁盘IO的压力；放在代码里面处理，需要传到应用服务器处理，势必会 ...
分类：
其他好文 时间：
2018-04-17 23:43:01
阅读次数：
170
HDFS简介: HDFS在设计时就充分考虑了实际应用环境的特点，即硬件出错在普通服务集群中是一种常态，而不是异常。 因此HDFS主要实现了以下目标： HDFS的局限： HDFS的相关概念： 块：在传统的文件系统中，为了提高磁盘读写效率，一般以数据块为单位，而不是以次节为单位。查找数据的存储位置时，通 ...
分类：
其他好文 时间：
2018-04-17 22:16:31
阅读次数：
310
Sysbench的测试主要包括以下几个方面：1、磁盘io性能2、cpu性能3、内存分配及传输速度4、POSIX线程性能5、调度程序性能6、数据库性能(OLTP基准测试).sysbench安装注：我这里选择源码包安装sysbench0.5版本下载软件http://repo.percona.com/apt/pool/main/s/sysbench/wgethttp://repo.percona.com
分类：
数据库 时间：
2018-04-17 15:41:35
阅读次数：
175
一.应用程序卡死如何排查故障：客服报障，平台点击界面菜单无反应排查步骤：1.首先先从公司架构入手，2个节点2层代理负载再到后端web，程序再调用中间件，最后才到数据库2.先把负载卸掉，用单节点单负载进行访问3.如果不行，再连接数据库服务器，用top跟iostat命令查看系统cpu.内存跟io，看看是不是由于MySQL的配置不优化，导致系统资源耗尽，导致应用崩溃4.如果cpu.内存，磁盘IO正常，查
分类：
其他好文 时间：
2018-04-14 16:52:02
阅读次数：
429
Nginx模型以及介绍 一: I/O(输入输出)介绍 系统调用:应用程序通过一些接口访问内核 PIO:程序输入输出模型,CPU会参与 DMA:直接内存访问,磁盘读写过程不需要CPU参与,CPU发送指令给DMA控制器,DMA控制器用来读写磁盘到内存中再返还给应用程序 同步/异步:关注的是消息的通知机制 同步:synchronous,当要去调用一个程序执行某个操作,调用者
分类：
其他好文 时间：
2018-04-12 17:55:20
阅读次数：
184
简介 iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法 入门使用 参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用bl ...
分类：
移动开发 时间：
2018-04-10 15:09:17
阅读次数：
218
大并发写入案例：抢红包，微博。高并发，大数量写数据，会把数据先写到内存，积累一定的量后，然后再定时或定量的写到磁盘（减少磁盘IO<Ioput/Output>）最终还是会把数据加载到内存中再对外提供访问。特点：优：写数据到内存，性能搞、速度快（微博，NS，秒杀）却：可能会丢失一部分在内存中还没有来得及存入磁盘的数据解决数据不丢失的方法：1.服务器主板上安装蓄电池，在断电瞬间把内存数据写到
分类：
其他好文 时间：
2018-04-09 11:10:06
阅读次数：
150
