传统MySQL+ Memcached架构遇到的问题实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：MySQL需要不断进行拆库拆表，Memcached...
分类：
其他好文 时间：
2014-10-29 16:36:10
阅读次数：
184
部标监控平台的压力测试是部标检测流程的最后一个检测环节，也是最难的，很多送检的企业平台都是卡壳在这一个环节，交通部jt/t796协议中规定，平台车辆接入性能的要求为：监控平台需满足具有海量定位数据高并发能力；平均500条/秒，峰值1000条/秒；企业平台能支持至少10000台终端接入，支持超过100...
分类：
其他好文 时间：
2014-10-28 23:35:45
阅读次数：
239
阿里云用户：morenocjm实践是检验真理的唯一标准，学习技术需要通过实践过程中的不断尝试，才能够快速掌握要领。OTS是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的存储和实时访问。刚好想用手上的一台ECS做点什么，既然如此，那就通过搭建简单线上产品（alijot.co...
分类：
编程语言 时间：
2014-10-28 15:13:40
阅读次数：
296
1.引言 所谓自动摘要就是利用计算机自动的从原始文献中提取文摘。文摘还是准确全面的反映某一文献中心内容的简介连贯的短文。随着Internet的飞速发展, 人们越来越多地依赖于万维网来获取所需要的信息。如何更加有效地浏览和查阅万维网上的海量信息成了当前情报科学领域的研究热点。自动文本摘要技术对文...
分类：
其他好文 时间：
2014-10-28 15:08:55
阅读次数：
177
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。简单介绍一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到相应的HBa...
分类：
其他好文 时间：
2014-10-28 15:08:05
阅读次数：
273
一般情况下，XFS出现丢数据的情况为海量小文件IO场景。在该场景下，inode占用教大。
通过上文的方式进行格式化，inode数量较小。通过大量测试，可以使用如下方法提升mkfs.ext4后文件系统性能。
方法主要内容：在/etc/mke2fs.conf文件，ext4配置中去开启64位功能。
[root@node21 ~]# cat /etc/mke2fs.conf
[d...
分类：
其他好文 时间：
2014-10-28 00:55:28
阅读次数：
320
其实“大数据”这个词在我的脑海中还没有一个比较确切的定义，几年前我接触了一个名词“海量数据”，它主要是指在数据库中如何处理优化查询海量数据的SQL，或者使用NoSQL（Not only SQL）进行处理，进而进行数据分析、数据挖掘等，从大量无规律的数据中提取出有价值的信息，总之海量数据是与数据库紧密关联的。而这两年兴起了“大数据”浪潮，我认为“海量数据”强调的是数据量的大小，而大数据则不仅仅是数据...
分类：
编程语言 时间：
2014-10-26 23:03:30
阅读次数：
297
声明：本文转自 http://www.ibm.com/developerworks/cn/java/j-lo-javaio/ I/O 问题可以说是当今互联网 Web 应用中所面临的主要问题之一，因为当前在这个海量数据时代，数据在网络中随处流动。这个流动的过程中都涉及到 I/O 问题，可以说大部分 ....
分类：
编程语言 时间：
2014-10-26 00:24:51
阅读次数：
434
怎样处理海量数据在实际的工作环境下，很多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有下面几个方面：一、数据量过大，数据中什么情况都可能存在。假设说有10条数据，那么大不了每条去逐一检查，人为处理，假设有上百条数据，也能够考虑，假设数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具...
分类：
其他好文 时间：
2014-10-24 20:31:11
阅读次数：
313
一、详解时髦词汇：大数据似乎一夜之间，大数据(Big Data)变成一个IT行业中最时髦的词汇。首先，大数据不是什么完完全全的新生事物，Google的搜索服务就是一个典型的大数据运用，根据客户的需求，Google实时从全球海量的数字资产 (或数字垃圾)中快速找出最可能的答案，呈现给你，就是一个最典型...
分类：
其他好文 时间：
2014-10-24 06:55:16
阅读次数：
237
