随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，如：对数据库高并发读写的需求、对海量数据的高效率存储和访问的需求、对数据库的高可扩展性和高可用性的需求等等，下面我就跟大家几种常见的nosql数据库。...
分类：
数据库 时间：
2014-07-08 17:04:42
阅读次数：
280
欢迎转载，转载请注明出处，徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类：
其他好文 时间：
2014-07-07 14:17:47
阅读次数：
295
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。 一、负载均衡技术 负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，...
分类：
数据库 时间：
2014-07-06 15:57:18
阅读次数：
300
问题比較Java原生的1. TreeMap2. HashMap3. ConcurrentSkipListMap3种Map的效率。结果模拟150W以内海量数据的插入和查找，通过添加和查找双方面的性能測试，结果例如以下：Map类型插入查找（在100W数据量中）10W50W100W150W0-1W0-25...
分类：
编程语言 时间：
2014-07-01 13:42:16
阅读次数：
194
Bigdataisliketeenagesex,everyonetalksaboutit,nobodyreallyknowshowtodoit,everyonethinkseveryoneelseisdoingit,soeveryoneclaimstheyaredoingit".我觉得这短话用在“大...
分类：
其他好文 时间：
2014-06-30 23:02:02
阅读次数：
188
phoenix——提供hbase的sql操作的框架2014年01月06日?hadoop及周边,hbase? 共 364字 ? 字号小中大?1条评论? 阅读 1,522 views 次是什么？hbase提供了海量数据的毫秒级查询。可见，hbase是个非常好的实时查询框架，缺点就是查询功能非常薄弱，仅限...
分类：
数据库 时间：
2014-06-28 10:01:50
阅读次数：
395
转载地址：http://hb.qq.com/a/20120111/000216.htm随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。 一、负载均衡技....
分类：
数据库 时间：
2014-06-27 17:36:50
阅读次数：
263
1、MongoDB介绍MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色...
分类：
数据库 时间：
2014-06-26 23:15:17
阅读次数：
292
DMCTextFilter和HTMLFilter数据过滤器我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度，DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产..
分类：
其他好文 时间：
2014-06-26 06:34:02
阅读次数：
239
