据IMSResearch统计,2011年全球摄像头的出货量达到 2646万台,预计到2015年摄像头出货量达5454万台。仅仅视频监控录像而言,每天的数据量就达上千PB,累计的历史数据将更为庞大,在视频监控大 联网、高清化推动下,视频监控业务步入数据的井喷时代。而大数据的到来,极大程度上考验着...
分类:
其他好文 时间:
2014-08-26 16:47:36
阅读次数:
210
大数据时代已经来临,但大数据并非无所不能。其核心不在规模大,它蕴含的是计算和思维方式的转变,过于乐观和简单的理解,都可能助长“大数据迷信” 得益于移动互联网以及智能手机、智能穿戴产品的发展,人们的行为、位置甚至身体的生理特征等数据都可以便捷地被记录,使得大数据的采集成为可能。 这一新的数据形...
分类:
其他好文 时间:
2014-08-26 16:47:06
阅读次数:
191
大数据近几年一直很火,不过隐私也成了关注点。大数据会收集人们高度隐私的数据,比如医疗记录或购物记录,再通过“分离识别”程序来匿名。如此一来,人们就不用担心个人隐私泄露了。不过事情真那么简单吗?大数据时代的匿名化并非100% 普林斯顿的计算机科学家艾文德奈瑞 · 亚南,曾在2006年发表的一篇文...
分类:
其他好文 时间:
2014-08-26 16:46:06
阅读次数:
202
public void exec(Connection conn){ try { conn.setAutoCommit(false); Long beginTime = System.currentTimeMillis(); //构造预处理statement Prepare...
分类:
编程语言 时间:
2014-08-26 15:06:36
阅读次数:
425
写在前面的话:以下是最简单的join原理,为后面的大数据分布式join做概念复习和知识铺垫:有时为了得到完整的结果,我们需要从两个或更多的表中获取结果。我们就需要执行 join。JOIN: 如果表中有至少一个匹配,则返回行LEFT JOIN: 即使右表中没有匹配,也从左表返回所有的行RIGHT JO...
分类:
数据库 时间:
2014-08-26 13:36:36
阅读次数:
228
回想起来,我也算是国内接触推荐系统较早的人之一了,最近和人聊天,觉得不少人对推荐系统有所误解,以为需要多么高大上的算法才能搭建起来的,我只想说我经常说的那句话【不是这样的】,所以有了这篇文章...
分类:
其他好文 时间:
2014-08-26 11:59:16
阅读次数:
265
cassandra2.0 推出了cqlsh2.0,提供了类似cql的功能。cqlsh 将查询消息发送给了thrift接口,然后后进行查询。文章分析了cqlsh Python脚本代码。后续文章会继续分析cassandra读写流程代码。...
分类:
其他好文 时间:
2014-08-26 11:37:45
阅读次数:
332
1、给测试列表添加查阅项字段,100个,代码如下: 2、插入测试数据的方法,注意查阅项字段的格式,代码如下: 3、插入10w条数据,时间花费如下(不建议List[LISTNAME].Items.Add,会比较慢): 4、查看列表设置,数据有10w条,阙值设置500w,如下图: 5、进入A...
分类:
其他好文 时间:
2014-08-26 11:28:55
阅读次数:
260
前言: Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,...
分类:
其他好文 时间:
2014-08-26 09:51:26
阅读次数:
502
你是否需要大量的数据来检验你的APP性能?最简单的方法是从网上免费数据存储库下载数据样本。但这种方法最大的缺点是数据很少有独特的内容并且不一定能达到预期的结果。以下是70多家可以获得免费大数据存储库的网站。 Wikipedia:Database :向感兴趣的用户提供所有可用的内容的免费副本。可以得....
分类:
Web程序 时间:
2014-08-26 02:52:45
阅读次数:
351