讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
数组PHP
中的数组实际上是一个有序映射。映射是一种把values关联到keys的类型。此类型在很多方面做了优化，因此可以把它当成真正的数组，或列表（向量），散列表（是映射的一种实现），字典，集合，栈，队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。解释这些结构超出...
分类：
Web程序 时间：
2014-05-03 23:39:16
阅读次数：
629
2．2MySQL Server 系统架构总的来说，MySQL
可以看成是二层架构，第一层我们通常叫做SQL Layer，在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断，sql
解析，执行计划优化，query cache 的处理等等；第二层就是存储引擎层，我们通常叫...
分类：
数据库 时间：
2014-05-03 22:43:14
阅读次数：
491
SQL 是一门 ANSI 的标准计算机语言，用来访问和操作数据库系统。SQL 语句用于取回和更新数据库中的数据。SQL 可与数据库程序协同工作，比如MySQL、 MS Access、DB2、Informix、MS SQL Server、Oracle、Sybase 以及其他数据库系统。
不幸地是，存在着很多不同版本的 SQL 语言，但是为了与 ANSI 标准相兼容，它们必须以相似的方式共同地来...
分类：
数据库 时间：
2014-05-03 21:33:50
阅读次数：
319
1、能用DISTINCT的就不用GROUP BY
SELECT OrderID FROM Details WHERE UnitPrice > 10 GROUP BY OrderID
可改为： SELECT DISTINCT OrderID FROM Details WHERE UnitPrice > 10
2.能用UNION ALL就不要用UNION
UNION A...
分类：
数据库 时间：
2014-05-03 21:31:24
阅读次数：
342
1. IS NULL 与 IS NOT NULL
不能用null作索引，任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下，只要这些列中有一列含有null，该列就会从索引中排除。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。
任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。
2. 避免使用不兼容的数据类型。...
分类：
其他好文 时间：
2014-05-03 21:15:26
阅读次数：
264
上个月，参加了百度技术沙龙， 夏粉的《广告数据上的大规模机器学习》讲座介绍了大规模机器学习中的若干重要问题。遗憾的是，百度的相关算法没有公开的论文。
1. 数据处理
目标： 获取信息， 去除噪音
机器学习技术点： 选择对点击概率分布 预估足够多样本
解决方法： a. 不可见和不完整样本过滤; b. 样本采样; c. 异常样本检测
算法：a. 百度...
分类：
其他好文 时间：
2014-05-03 21:12:36
阅读次数：
378
添加Expires和Cache-control头部
Expire和Cache-control实际上是HTTP中的缓存控制头部，它主要影响客户端的请求行为和服务器端的响应。
一．缓存的基本概念
这里的缓存，单指web的缓存。当web请求抵达缓存时，如果本地有缓存的副本且缓存未过期，那么就可以从本地读取数据或文档，这样便可以：
1. 减少冗余的数据传输，一定程度上减少服务器的流量...
分类：
Web程序 时间：
2014-05-03 15:51:40
阅读次数：
380
#!/bin/bash#thisscriptisonlyforCentOS6#checktheOSplatform=`uname-i`if[$platform!="x86_64"];thenecho"thisscriptisonlyfor64bitOperatingSystem!"exit1fiecho"theplatformisok"version=`lsb_release-r|awk‘{printsubstr($2,1,1)}‘`if[$version!=6];thenecho"thisscriptiso..
分类：
系统相关 时间：
2014-05-03 14:51:00
阅读次数：
415
