我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。
简介一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到对应的HBase表中。
ps：请注意（1）HFile方式是所有的加载方案里面是最快的，前提是：数据必须第一个导...
分类：
其他好文 时间：
2014-10-16 20:16:53
阅读次数：
283
一、常规图片存储策略常规的一般400G下面的图片存储能够採用比較传统的分文件夹的形式比如文件夹层级为 年份/行业属性/月份/日期/用户属性有几个比較重要的原则就是1、单个文件夹下的文件个数不要超过2000个，多了寻址较慢，你在linux下ls就能看到数量太多的时候的效果了2、文件夹层级结构不要太深，...
分类：
其他好文 时间：
2014-10-16 15:57:12
阅读次数：
184
高并发的情况下，锁是一个灾难；那么架构是如何做到无锁编程的？...
分类：
其他好文 时间：
2014-10-16 02:38:16
阅读次数：
151
全世界每天都有几十亿人使用计算机、平板电脑、手机和其它数字设备产生海量数据。在这个各个行业和领域都已经被数据给渗透，数据已成为非常重要的生产因素的大数据时代，对于大数据处理和大数据挖掘将意味着新一波的生产率不断增长和消费者盈余浪潮的到来。 在大数据时代下，从头至尾我们都脱离不了数据挖掘。有人把...
分类：
其他好文 时间：
2014-10-15 11:32:10
阅读次数：
248
在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣...
分类：
数据库 时间：
2014-10-13 16:20:29
阅读次数：
178
【阿里云产品公测】结构化数据服务OTS之JavaSDK初体验作者：阿里云用户蓝色之鹰一、OTS简单介绍OTS 是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的存储和实时访问。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2...
分类：
编程语言 时间：
2014-10-13 14:59:29
阅读次数：
238
在这个信息量剧增的时代，如何帮助用户从海量数据中检索到想要的数据，模糊查询是必不可少的。那么在Ｏｒａｃｌｅ中模糊查询是如何实现的呢？
一、我们可以在where子句中使用like关键字来达到Oracle模糊查询的效果；在Where子句中，可以对datetime、char、varchar字段类型的列用Like关键字配合通配符来实现模糊查询，以下是可使用的通配符：
（1）% ：零或者多个字符，...
分类：
数据库 时间：
2014-10-12 21:51:58
阅读次数：
190
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降...
分类：
数据库 时间：
2014-10-12 18:27:48
阅读次数：
3081
设计一个长连接手机云推送服务。要求：1. 稳定包括两个部分一个是服务器端的稳定性，一个是手机端的稳定性。服务端稳定性，因为使用长连接方案，对服务器的开销和要求很大，推送方案对服务器开发要求很高，海量线程连接下的服务器稳定性是非常具有挑战性的。一般的评判标准包括：同时在线时峰值 （一般按照百万并发连接...
分类：
移动开发 时间：
2014-10-11 17:28:05
阅读次数：
276
http://blog.csdn.net/hu_zhenghui/article/details/7184799
分类：
Web程序 时间：
2014-10-11 00:03:35
阅读次数：
231
