Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过80...
分类：
其他好文 时间：
2015-03-13 14:29:36
阅读次数：
272
我们要解决的是通用的问题： 如何以更不易出错的方式去表达和维护大型逻辑 ？ 表达和维护大型逻辑的终极诀窍就是： 将大型逻辑切分为容易消化的一小块一小块， “不急不忙地吃掉”。
分类：
其他好文 时间：
2015-03-13 01:38:07
阅读次数：
118
声明：本系列教程参考资料《Mysql性能调优与架构设计》
Why Mysql?
大家可能怀疑，数据库有好多种，为什么选择Mysql作为数据切分的案例，为什么不选择Oracle、MS SqlServer或者DB2等等。原因是大家都知道，淘宝网最开始选择LAMP的架构设计，即Linux+Apache+Mysql+PHP，最开始系统遇到的瓶颈是当时PH...
分类：
其他好文 时间：
2015-03-12 22:41:18
阅读次数：
165
随着Tomcat的运行，catalina.out文件会越来越大，虽然Tomcat每日会生成一个catalina.ymd.log的文件，但catalina.out主文件仍然不断增加，需要对catalina.out按日切分才好，在网上找了一下，看到一篇《rotating ca...
分类：
系统相关 时间：
2015-03-12 15:32:28
阅读次数：
229
在很多实际项目中，应用程序会持续写日志，如果程序代码中没有调用支持自动切分（如按filesize或date切割）的日志库，则日志文件会很快增长到G级别。单机操作大文件对后续跟进日志来说非常不方便。
本文介绍如何利用logrotate这个工具来在应用程序外部切分日志。
1. logrotate是什么
logrotate是大多数linux系统自带的日志切割工具，在shell终端输入"man lo...
分类：
系统相关 时间：
2015-03-11 17:12:11
阅读次数：
253
今天碰到了一个问题，从游戏服务器下载下来的输出log有一个多G大。用记事本打不开，EditPlus也打不开，都提示文件太大。用word也打不开，提示文件大于512M。打不开怎么查找错误啊。于是他问我解决办法。我想了想，决定写一个简单的程序读取这个log，把这个log切分成一些小的可以用Editplu...
分类：
其他好文 时间：
2015-03-09 23:42:30
阅读次数：
165
分词：
① 单字切分
把一段文字按照每个字去建立索引。
如切分“我爱中华”，就会切成“我”，“爱”，“中”，“华”。这种分词法效率低，但也能解决一些问题。
② 二分法
二分法就是把一段文字的每两个相邻的字算作一个词。
如果用来切分“我爱中华”，就会切成“我爱”，“爱中”，“中华”。这种分词效率低，但比单字切分好得多。
③ 词典法
词典法就是建立一个词典文件，然后使...
分类：
Web程序 时间：
2015-03-06 17:07:51
阅读次数：
140
背景
分布式任务调度是非常常见的一种应用场景，一般对可用性和性能要求不高的任务，采用单点即可，例如linux的crontab，spring的quarz，但是如果要求部署多个节点，达到高可用的效果，上面的方案就不适用了。
实际上任务调度的实现有两种情况，第一种是通过mq来实现，mq做好了数据切分，负载均衡的效果，本文说的是另一种情况。
要...
分类：
其他好文 时间：
2015-03-06 16:34:57
阅读次数：
323
有人在Quora上提问：MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项，那你每个库的文件会单独放在一个文件夹里。数据库文件在内部会被切分成单个的块，每个块只...
分类：
数据库 时间：
2015-03-05 12:21:41
阅读次数：
153
1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。...
分类：
其他好文 时间：
2015-03-03 21:58:56
阅读次数：
138
