声明：原文摘自http://weibo.com/u/2446082491，谢谢他的分享！ 在当前大型互联网应用以及提供云计算服务的时候，怎样保证系统在海量数据环境下的高性 能、高可靠性、高扩展性、高可用性、低成本成为迫切需要。 按照分布式CAP理论（Consistency、 Availabi...
分类：
其他好文 时间：
2015-02-06 21:45:45
阅读次数：
218
实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。...
分类：
数据库 时间：
2015-02-06 20:19:49
阅读次数：
236
大数据对象主要指的是CLOB和BLOB两种类型的字段，在CLOB中可以存储海量文字，例如存储一本小说。在BLOB中可以存储二进制文件，如电影，图片等，如果在程序中要处理大的数据对象，则必须使用PreparedStatement
完成，所有的内容要通过IO流的方式从大字段文本中保存和读取。
写入大数据对象的主要方法：
读取大数据对象的主要方法：
处理C...
分类：
数据库 时间：
2015-02-06 11:18:37
阅读次数：
228
背景对于腾讯的业务来说，有两个方面决定着WAF能否发挥效果，一个是合适处理海量流量的架构，另一个关键因素则是规则系统。架构决定着WAF能否承受住海量流量的挑战，这个在之前的篇章中简单介绍过（详情见主流WAF架构分析与探索、WAF应用层实现的架构漫谈）。而规则系统则决定着WAF能否发挥完善的防护功能。...
分类：
其他好文 时间：
2015-02-05 13:11:45
阅读次数：
159
美国队长：这怎么知道？
国防军官：这怎么不知道，21世纪就是本数码书。佐拉教会九头蛇怎么去读它，你的银行记录、病例、投票模式、电子邮件、通话信息、还有大学成绩单...左拉的算法会评估人们的过去，然后预测他们的未来。
——《美国队长2》
听起来很玄乎，但事实是我们真的正在进入“大数据时代”，支付宝最新上线的“芝麻信用分”就是一个例子。
芝麻分的背后是芝麻信用对海量信息数据的综...
分类：
其他好文 时间：
2015-02-04 13:07:27
阅读次数：
227
【引言】
在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用...
分类：
编程语言 时间：
2015-02-04 12:56:17
阅读次数：
214
public?SXSSFWorkbook(XSSFWorkbook?workbook)
/*
Construct?a?workbook?from?a?template.
下列三种模式可以用此构造方法
There?are?three?use-cases?to?use?SXSSFWorkbook(XSSFWorkbook)?:
追加s...
分类：
其他好文 时间：
2015-02-04 11:14:13
阅读次数：
233
2014年 2月到3月期间，我在实习期间去武汉出差参与一个项目为某上市网络舆情R公司提供技术解决方案。R公司接下了一个为浙江省政府DNS数据分析的项目，但他们自身没有技术实力去解决海量数据的处理。DNS字段相对较小，所以一天的总量也就 1~2 TB 左右，涉及主要业务有从域名、顶级域名、客户端IP等...
分类：
其他好文 时间：
2015-02-04 10:58:34
阅读次数：
308
ThinkPHP处理海量数据分表机制详细代码及说明应用ThinkPHP内置的分表算法处理百万级用户数据. 数据表： house_member_0 house_member_1 house_member_2 house_member_3 模型中 class MemberModel extends Ad...
分类：
Web程序 时间：
2015-02-04 07:04:17
阅读次数：
189
