对于大数据量的查询处理，记得先用explian看下，尽量的优化 例如：explain select surname,first_name form a,b where a.id=b.id Explain 解释: table：显示这一行的数据是关于那张表。 type： 这个是重要的列，显示连接使用了何...
分类：
数据库 时间：
2014-09-24 15:21:27
阅读次数：
257
我所在的公司使用Thrift作为基础通信组件，相当一部分的RPC服务基于Thrift框架。公司的日UV在千万级别，Thrift很好地支持了高并发访问，并且Thrift相对简单地编程模型也提高了服务地开发效率。
Thrift源于Facebook, 目前已经作为开源项目提交给了Apahce。Thrift解决了Facebook各系统的大数据量传输通信和内部不同语言环境的跨平台调用。
Thrift的官...
分类：
其他好文 时间：
2014-09-23 15:21:44
阅读次数：
216
Centos下mysql常用的三种备份方法http://www.centoscn.com/CentOS/Intermediate/2013/0807/1160.htmlxtrabackup备份http://7567567.blog.51cto.com/706378/706242Xtrabackup安...
分类：
数据库 时间：
2014-09-23 08:45:54
阅读次数：
231
首先对表空间作如下说明
临时表空间：是在做大数据量排序时，分组操作时用的，正常这些都是在内存中完成的，但在大数据量排序处理时，内存不够用的情况下就会用到临时表空间，这里是不存放表的，有点类似于操作系统中的虚拟内存概念。
数据表空间：是存放表、索引等数据文件的表空间，顺带说下最好把表和索引分在不同的表空间中，这样性能会好很多。
用户指定表空间：其实只是对用户建表时候的表空间设定一个默认值，就是...
分类：
数据库 时间：
2014-09-19 17:39:17
阅读次数：
238
SYN中的MSS选项是告诉对端，本端在本地连接的每个TCP分节中愿意接收的最大数据量。发送端TCP使用接收端的MSS值作为发送分节的最大大小。TCP半关闭使用的情况较少，可用于通知对端本端数据已输入完成。之所以关闭TCP要四路握手，也是因为有半关闭。主动关闭的一端在TIME_WAIT状态要等待2MS...
分类：
其他好文 时间：
2014-09-17 21:40:12
阅读次数：
167
参考文章POC测试，即Proof of Concept，是业界流行的针对客户具体应用的验证性测试，根据用户对采用系统提出的性能要求和扩展需求的指标，在选用服务器上进行真实数据的运行，对承载用户数据量和运行时间进行实际测算，并根据用户未来业务扩展的需求加大数据量以验证系统和平台的承载能力和性能变化。特...
分类：
其他好文 时间：
2014-09-16 15:48:00
阅读次数：
130
mysql中间件研究（Atlas，cobar，TDDL） mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品...
分类：
数据库 时间：
2014-09-14 19:28:27
阅读次数：
335
FP-Growth是一种常被用来进行关联分析，挖掘频繁项的算法。与Aprior算法相比，FP-Growth算法采用前缀树的形式来表征数据，减少了扫描事务数据库的次数，通过递归地生成条件FP-tree来挖掘频繁项。参考资料[1]详细分析了这一过程。事实上，面对大数据量时，FP-Growth算法生成.....
分类：
其他好文 时间：
2014-09-13 15:46:05
阅读次数：
406
服务器CPU服务器CPU，顾名思义，就是在服务器上使用的CPU(CenterProcessUnit中央处理器)。接触过局域网络的读者一定，服务器是网络中的重要设备，要接受成千上万用户的访问，因此对服务器具有大数据量的快速吞吐、超强的稳定性、长时间运行等严格要求。所以才将CPU比喻成计算机..
分类：
其他好文 时间：
2014-09-12 10:20:44
阅读次数：
189
在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosql去掉了关系数据库的...
分类：
数据库 时间：
2014-09-10 15:37:20
阅读次数：
464
