Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通...
分类:
其他好文 时间:
2014-09-12 11:27:23
阅读次数:
293
近年来,我国政府采购规模持续扩大,采购金额由10年前的1600亿元环比增长17.2%,2013年全国政府采购金额已达到16000亿元,且仍呈上升趋势。但在招标采购中,出现了一些操作执行不规范的问题,我们发现,许多地区存在严重的地方保护主义,参与招标采购的各方权益人形成固定的利益格局,招标流程和市场机制基本失效,形成了在规范的法规条文下的不规范操作现状。
鉴于此,规范招标采购活动,让市场充分发...
分类:
其他好文 时间:
2014-09-12 08:55:33
阅读次数:
185
中国的航空制造业在这些年得到长足发展,伴随着人员成本的提升和一般性仿制的格局层瓶颈,要实现跨越性的发展需要,我们需要有自己的思路方法和创新模式。世界航空工业正在由生产线组装产品的时代走向由网络集成价值的时代,这是一场深刻的历史性的战略转型。大规模系统集成是..
分类:
其他好文 时间:
2014-09-11 17:34:12
阅读次数:
257
无锁算法CAS概述 JDK5.0以后的版本都引入了高级并发特性,大多数的特性在java.util.concurrent包中,是专门用于多线并发编程的,充分利用了现代多处理器和多核心系统的功能以编写大规模并发应用程序。主要包含原子量、并发集合、同步器、可重入锁,并对线程池的构造提供了强力的支持。 .....
分类:
其他好文 时间:
2014-09-11 16:43:12
阅读次数:
256
最近研究MongoDB,利用其可以简单快速地搭建一套灵活的no schema存储系统。
本文通过论证和分析需求,利用MongoDB快速搭建了一套具有良好性能及可用性满足上亿规模的存储系统。
在关于NoSQL数据库的选型上,需要结合自身数据模型、访问方式以及成本等方面的考虑作一个权衡(trade off)。
那么经过研究MongoDB(2.6.4版本)有如下特点:
可用性...
分类:
数据库 时间:
2014-09-11 12:37:51
阅读次数:
261
无组织无纪律是一件可怕的事情,尤其是一个组织无组织纪律的时候 一个组织没有一个全面系统的目标和规划是一件可怕的事情,倘若组织规模小,还可以由一个人统一协调,这人就是老板。但若组织规模较大,如达到500人时,人人逃避责任,人人避重就轻,则人人都承担的巨大的风险,风险就是组织的效率和质量空前下降,必.....
分类:
其他好文 时间:
2014-09-10 01:34:09
阅读次数:
249
搜索的质量评估通常是看几个指标:相关度 -- 请受过训练的人来评估每个引擎的前几个结果是否相关,评估时不参考结果的来源、引擎的品牌等。索引规模 -- 每个引擎知道自己的规模,也就是有多少网页(除去重复的),但是不知道对方的规模,可是可以根据两方搜索结果的爬取,得知有多少网页是我有他无,或他有我无,从...
分类:
其他好文 时间:
2014-09-10 00:23:29
阅读次数:
269
Apriori算法也属于无监督学习,它强调的是“从数据X中能够发现什么”。从大规模的数据集中寻找物品之间隐含关系被称为关联分析或者称为关联规则学习。这里的主要问题在于,寻找物品的不同组合是一项十分耗时的任务,所需的计算代价很高,蛮力搜索并不能解决这个问题。因此此处介绍使用Apriorio算法来解决上述问题。
1:简单概念描述
(1) 频繁项集:指经常出现在一块的物品的...
分类:
其他好文 时间:
2014-09-09 20:11:19
阅读次数:
313
VMworld2014大会进一步明确了软件定义数据中心的内涵,并给出了快速部署解决方案——VMware超融合架构,十几分钟可以部署一个软件定义的数据中心。8月25日,VMworld2014在美国旧金山市的Moscone会议中心如期开常一年一度的虚拟化领域的盛会今年的规模又超往届,报名参会的3万多..
分类:
其他好文 时间:
2014-09-09 18:31:39
阅读次数:
203
项目概述项目背景设计依据:法律、规划与指导、标准、指南、办法、工程批复、建设内容相关的文件设计概要建设目的建设目标建设内容建设规模变更内容工期与投资项目现状:业务现状(行业发展)管理现状(按管理主体)项目相关专题业务现状信息化基础、信息系统数据资源支撑平台网络现状配套设施需求分析:总体功能需求功能需...
分类:
其他好文 时间:
2014-09-09 15:52:08
阅读次数:
202