伪静态:上一节我们讲了真静态技术的几个优点: ①减少服务器对数据响应的负荷; ②加载不用调动数据库 ③方便优化引擎但同时伴随着缺点: ①生成的真静态文件多,服务器对html文件的响应负担也比较重; ②空间占用比较大。如果一个系统使用真静态进行页面静态化,需要生成海量的静态页面,我们可以考虑...
分类:
其他好文 时间:
2014-08-21 13:18:24
阅读次数:
193
2013年11月,《纽约客》发表了介绍艾略特?希金斯的文章,他的另一个被大众所熟知的名字叫布朗?摩西,在微博上有一万七千个粉丝,是一位肄业的金融管理工作者。艾略特?希金斯的例子证明了,在一个人们每天依赖于来自网络传播而来的海量信息的时代,一切皆可发生。
《纽约客》利用八页来描述希金斯为“也许是(叙利亚)战争中最重要的弹药专家,” 对于一个在弹药和情报学没有接受过任何专业训练的人来说...
分类:
其他好文 时间:
2014-08-20 16:35:08
阅读次数:
242
Redis的主要缺点是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,并且它没有原生的可扩展机制,不具有scale(可扩展)能力,要依赖客户端来实现分布式读写,因此Redis适合的场景主要局限在较小数...
分类:
其他好文 时间:
2014-08-20 12:40:52
阅读次数:
221
Bloom Filter是由Bloom在1970年提出的一种快速查找算法,通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
它相比hash容器的一个优势就是,不需要存储元素的实际数据到容器中去来一个个的比较是否存在。
只需要对应的位段来标记是否存在就行了,所以想当节省内存,特别适合海量的数据处理。并且由于省去了存储元素和比较...
分类:
其他好文 时间:
2014-08-18 18:37:02
阅读次数:
339
内容提要如今这个互联网时代,人们每天都生产海量的数据,如果直接面对这些数据,可能让人无从下手。将数据可视化,用形象立体的形式将其展现,有利于分析其中的关联,攫取可能存在的商业机会。本书意图通过大量的示例和代码,向读者讲述如何利用D3.js来实现数据可视化。只要您..
分类:
Web程序 时间:
2014-08-18 16:34:33
阅读次数:
253
MBTiles 是一种地图瓦片存储的数据规范,它使用SQLite数据库,可大大提高海量地图瓦片的读取速度,比通过瓦片文件方式的读取要快很多,适用于Android、IPhone等智能手机的离线地图存储。详情请参考:MBTiles移动存储简介。 在WEB地图介绍中我们看到,瓦片是参照了他们的z...
分类:
数据库 时间:
2014-08-18 15:53:12
阅读次数:
412
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,认为它们非常是神奇,而神奇的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,认为Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到...
分类:
其他好文 时间:
2014-08-16 18:29:30
阅读次数:
339
前言:
以前所接触到的位图的思想都是以1位的形式去存储某个数出现的次数是1次还是0次。常见的例子不外乎在《编程珠玑》上的开篇例子里,1千万个数的排序统计,用1.25M的内存空间就可以达到遍历一遍输入数据而排序好的目的。这种思想是通用的么?也就是说,假如输入数据不再是0次或者1次,而是2次或者更多的时候,如何再次用上这种思想呢?请看下面题目
题目:
输入一个数组,数组有int类型整数若...
分类:
其他好文 时间:
2014-08-16 15:08:50
阅读次数:
160
工欲善其事必先利其器在投奔怒海——一个Domino老程序员眼里的Java开发我提到目前所做的Java开发中遇到的大量日志之问题。服务器控制台刷屏似地滚动,日志文件飞快地增长,debug的时候相关信息常常被例常日志淹没,在众多Logger滔滔不绝的输出下,要找出错误所在有时都挺费眼。日志的作用无可置疑,大型项目中日志海量产生也不少见。在以前的Domino开发中,Domino服务器在产生日志方面相当节...
分类:
编程语言 时间:
2014-08-15 19:45:49
阅读次数:
249
1. Bit Map算法简介 ? ? ? ??来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value, 而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。 2、 Bi...
分类:
其他好文 时间:
2014-08-15 18:10:20
阅读次数:
266