当你的数据规模达到PB级别的时候，想要移动这样大规模数据时就会变的费时费力，这也是企业在利用AWS规模化和弹性优势处理分析任务时面临的最大挑战之一。本文主要介绍了加速文件传输协议，谈到如何利用Tsunami DUP实现将大规模数据迁移到云中，其中利用UDP处理数据传输，TCP负责连接控制。...
分类：
其他好文 时间：
2014-08-18 18:45:49
阅读次数：
310
Bloom Filter是由Bloom在1970年提出的一种快速查找算法，通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
它相比hash容器的一个优势就是，不需要存储元素的实际数据到容器中去来一个个的比较是否存在。
只需要对应的位段来标记是否存在就行了，所以想当节省内存，特别适合海量的数据处理。并且由于省去了存储元素和比较...
分类：
其他好文 时间：
2014-08-18 18:37:02
阅读次数：
339
一种工业级系统交互建模工具的应用【摘要】本文以探索如何维护大规模复杂系统交互设计模型为目的，以EventHelix公司的商业付费软件EventStudio System Designer为建模工具，对大规模复杂系统的交互设计进行了应用，认为类ESSD的设计工具能大幅降低系统设计建模的开发和维护复杂度...
分类：
其他好文 时间：
2014-08-18 09:11:13
阅读次数：
311
分布式文件系统 Google File System：是由google开发并设计的一个面向大规模数据处理的一个分布式文件系统。 我们首先来简单的说明一下这个分布式，我们都知道现在要存储的数据量越来越大，但是一台电脑的存储能力是有限的，尽管我们可以通过提高某台电脑的存储能力来解决这个问题，但是这是.....
分类：
其他好文 时间：
2014-08-17 23:58:03
阅读次数：
440
概述
互联网技术的发展，尤其是在线地图的出现，以及LBS技术在网络和生活方方面面的快速渗透，很大程度上带动了以前不温不火的地理信息系统（GIS）行业的快速发展。当前，GIS行业的项目规模也在不断地扩大。包含基本地图服务功能，配套相关行业业务管理、数据管理能力的软件系统很多都会飙升到千万级别。三维GIS系统更甚，单单的数据获取，以单省来计算基本也在千万级别。
WebGIS方面，行业外的人开始接触...
分类：
Web程序 时间：
2014-08-17 20:01:22
阅读次数：
280
一个公司生产一种2*3规模的芯片，但是原材料上面有一些地方是不能用来当作芯片材料的，给出原料大小，及上面不能做原料的点，问你怎么分解，可以使生成芯片最大化。
对M进行三进制状压
last数组存储第i-1行和i-2行状态，cur数组存储i行和i-1行状态
cur[k]=2; // 本行k位置和上行k位置都不可用
cur[k]=1; // 本行k位置可用，上行k位置不可用
c...
分类：
其他好文 时间：
2014-08-17 17:03:12
阅读次数：
234
为什么青岛的互联网公司那么少既然大家都翘首以待青岛出现好的创业公司，我就出来给我们公司做一个广告了哈。 北上广的好互联网公司多，一定程度上是因为了解美国多些，所以抄东西抄的快，而且也离投资人近，离钱近的好处太多了，迅速可以形成规模和用户壁垒。 其他就是堆人简单，几十上百人随时有这么多的高校和大型公司...
分类：
其他好文 时间：
2014-08-16 20:58:11
阅读次数：
175
对web系统来说，瓶颈大多在数据库和磁盘IO上面，而不是服务器的计算能力。对于系统伸缩性我们一般有2种解决方案，scale-up（纵向扩展）和scale-out（横向扩展）。前者如扩内存，增加单机性能，更换ssd等，虽然看似指标不治本而且比较昂贵，但确实是非常有效的，大多数应用的数据规模不是很大.....
分类：
数据库 时间：
2014-08-16 12:22:10
阅读次数：
380
本来想用单应性求解小规模运动的物体的位移，但是后来发现即使是很微小的位移也会带来超级大的误差甚至错误求解，看起来这个方法各种行不通，还是要匹配知道深度了以后才能从三维仿射变换来入手了，纠结~estimateRigidTransform()：计算多个二维点对或者图像之间的最优仿射变换矩阵（2行x3列）...
分类：
其他好文 时间：
2014-08-16 00:55:49
阅读次数：
512
在大数据时代下，随着电信行业的快速发展，网络制式更新换代，随着4G移动网络规模不断扩大，移动网络数据流量将再次出现爆炸式增长，对于运营商而言，流量成为其主要收益增长点，但是如何精细化网络运营，提升流量经营收益，成为运营商迫切问题。 对于运营商而言，优化网络，提升移动网络基础通道能力，智能化流量...
分类：
其他好文 时间：
2014-08-15 17:25:09
阅读次数：
211
