本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。
目 录 [ - ]
前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划
前言
hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类：
其他好文 时间：
2014-06-05 08:43:04
阅读次数：
275
中国气象局公共服务中心与阿里云达成战略合作
5 月 27 日上午消息，中国气象局公共气象服务中心与阿里云达成战略合作，共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”，服务国民经济和社会民生。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。
目前，我国每年新增的气象数据达到 PB 量级(1PB=1024TB，1TB=1024GB)...
分类：
其他好文 时间：
2014-06-05 03:07:37
阅读次数：
329
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。...
分类：
其他好文 时间：
2014-06-05 01:54:15
阅读次数：
220
1. 数据统计的需求
互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。
网站站点统计工具无外乎有以下一些功能：
1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展示出来，如最近一周、最近一个月等。
2）IP来源信息统计：记录各个来源IP下的访问PV...
分类：
其他好文 时间：
2014-06-03 01:33:36
阅读次数：
226
一、Berkeley DB的介绍
（1）Berkeley DB是一个嵌入式数据库，它适合于管理海量的、简单的数据。如Google使用其来保存账户信息，Heritrix用其来保存froniter.
（2）key/value是Berkeley DB用来管理数据的基础，每个key/value对代表一条记录。
（3）Berkeley DB在底层实现采用B树，可以看成能够存储大量数据的HashMa...
分类：
数据库 时间：
2014-06-03 01:31:36
阅读次数：
388
今天要研究的问题是如何计算两个文本的相似度。正如上篇文章描述，计算文本的相似度在工程中有着重要的应用，
比如文本去重，搜索引擎网页判重，论文的反抄袭，ACM竞赛中反作弊等等。
上篇文章介绍的SimHash算法是比较优秀的文档判重算法，它能处理海量文本的判重，Google搜索引擎也正是用这
个算法来处理网页的重复问题。实际上，仅拿文本的相似度计算来说，有很多算法都能解决这个问题，并且都达...
分类：
其他好文 时间：
2014-06-02 15:15:39
阅读次数：
200
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类：
其他好文 时间：
2014-06-02 10:33:40
阅读次数：
277
最近在给客户整一个财务报表，用的nopi生成excel,客户那每个月的数据大概有30W条，生成的excel约200张，在我们公司服务器上跑起来妥妥的，到客户的服务器上就完蛋了，跑着跑着就崩溃掉了，无力吐槽，万万没想到啊。总之又加了好几天班才解决问题。大概如下，望各位童鞋注意1.查询所需要处理的数据尽...
分类：
其他好文 时间：
2014-06-01 11:36:46
阅读次数：
283
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
SAN针对海量、面向数据块的数据传输，而NAS则提供文件级的数据访问功能。SAN和NAS都基于开放的、业界标准的网络协议：用于SAN的光纤通道协议和用于NAS的网络协议（如TCP/IP）。SAN的应用范围更为广泛，而且可以提供对NAS设备的存储，而NAS一般只限于文件级数据访问的应用。如果不考虑它们...
分类：
其他好文 时间：
2014-05-26 18:19:35
阅读次数：
303
