MogileFS简介：MogileFS是一个开源的分布式文件存储系统，MogileFS适用于存储海量小文件的工作场景，由LiveJournal旗下的DangaInteractive公司开发，该团队开发了包括Memcached、MogileFS、Perlbal等多个知名的开源项目。MogileFS的组成：1、server：主要包括mogilefsd和mogsto..
分类：
其他好文 时间：
2014-10-02 09:16:13
阅读次数：
296
HBase为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。HBase中，数据以HRegion为单位进行管理，也就是说应用程序如果想要访问一个数据，必须先找到HRegion，然后将数据读写操作提..
分类：
其他好文 时间：
2014-10-01 00:39:00
阅读次数：
249
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-09-30 20:59:40
阅读次数：
310
通过?采集系统?我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似...
分类：
其他好文 时间：
2014-09-30 14:59:10
阅读次数：
166
文章转自：http://blog.csdn.net/hguisu/article/details/7949844通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件...
分类：
其他好文 时间：
2014-09-30 14:57:29
阅读次数：
302
文章来源：PHP开发学习门户
地址： http://www.phpthinking.com/archives/489
这里的大型网站架构只包括高互动性高交互性的数据型大型网站，基于大家众所周知的原因，我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构了，我们以高负载高数据交换高数据流动性的网站为例
比如海内，开心网等类似的web2.0系列架构。我们这里不讨论是PHP...
分类：
Web程序 时间：
2014-09-30 14:54:09
阅读次数：
205
Infobright则是开源数据仓库(DataWarehouse)解决方案，基于列存储的存储引擎，可实现海量数据存储，且拥有较高的数据压缩比例，压缩比一版在10:1,40:1甚至更大，取决于数据重复度、数据类型和数据在磁盘的分布状态。能达到高速的数据装载性能：多种数据导入方式，语法简单，并..
分类：
数据库 时间：
2014-09-30 13:44:50
阅读次数：
385
文章转自：http://blog.csdn.net/hguisu/article/details/79697571.概述 在关系数据库系统里，索引是检索数据最有效率的方式,。但对于搜索引起，他它并不能满足其特殊要求：1）海量数据：搜索引擎面对的是海量数据，像Google，百度这样大型的商业搜索引擎索...
分类：
其他好文 时间：
2014-09-30 13:05:49
阅读次数：
254
大数据应用的未来趋势：各领域数据融合及挖掘，行业数据跨界应用。挑战：海量数据整合，智能化分析挖掘。
分类：
其他好文 时间：
2014-09-29 20:51:11
阅读次数：
210
1.云计算与大数据的关系从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。2.云在技术层面..
分类：
其他好文 时间：
2014-09-29 20:16:41
阅读次数：
264
