设计初衷最近一段时间，工作中一直用阿里云的服务器ECS以及SLB、OTS（开放结构化数据服务）等相关的服务，特别是OTS刚刚商业化，官方还没出一种可视化的管理工具，而且我曾跟阿里云OTS的架构师深入交谈过，虽然他们有推出可视化管理工具的想法，但是无奈由于种种原因，目前暂时未提上日程，而自己又在开发中负责OTS源码的修改以适合公司相应的业务逻辑并且其他人也需要调用我封装的OTS相关的服务，为了方便、高...
分类：
其他好文 时间：
2015-02-13 18:39:51
阅读次数：
203
谷歌技术"三宝"之BigTable2006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多...
分类：
其他好文 时间：
2015-02-12 13:51:17
阅读次数：
368
信息化到处被提及的特点，就是拥有大量的数据交互的格式。前阵子学习了XML的结构化数据，...
分类：
编程语言 时间：
2015-02-06 18:54:05
阅读次数：
200
零、数据分类 1、非结构化数据：文本，图片，音频，视频等。这类数据一般称为Blob(Binary Large Object, 二进制大对象)。 2、结构化数据：可用表结构表示，具有相应的模式(Schema:如属性，数据类型和数据间的联系)，模式和内容分开，需预先定义。一般存储在关系型数据库中。 .....
分类：
其他好文 时间：
2015-02-02 00:30:30
阅读次数：
266
分布式存储系统按照所存储的数据对象不同，分为四类：分布式文件系统（存储图片、音频、视频等非结构化的Blob对象、定长块以及大文件等）、分布式表格系统（存储关系较为复杂的半结构化数据）、分布式键值系统（存储关系简单的半结构化数据）和分布式数据库（存储结构化数据）等。...
分类：
其他好文 时间：
2015-01-31 00:31:16
阅读次数：
176
1、产品概述
Hive作为大数据时代的数据仓库工具，使我们分析处理海量结构化数据成为可能。越来越多的公司和机构都将Hive作为应对大数据分析的强有力工具。但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用Hive UDF的扩展机制。
当然，作为大数据平台开发过程中也同样遇到这些问题。整个公司不同业务方的数据汇聚到数据平台后，对数据的...
分类：
其他好文 时间：
2015-01-27 11:15:53
阅读次数：
192
导语：大数据分析技术的价值在企业领域已经非常明确。充分利用良好信息的能力一直是摆在IT部门面前的重要难题与挑战。现在我们已经拥有了足以解决这一难题的工具，接下来要做的就是想办法使其为自己服务了。 方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能。以Hadoop为代表的新型解决方案在.....
分类：
其他好文 时间：
2015-01-25 13:39:16
阅读次数：
226
一、简介HBase是基于列存储、构建在HDFS上的分布式存储系统，其主要功能是存储海量结构化数据。HBase构建在HDFS之上，因此HBase也是通过增加廉价的PC机提高系统运行和存储的能力。HBase中存储的表有如下特点：1、大表：一个表可以有数十亿行，上百万列；2、无模式：每行都有一..
分类：
其他好文 时间：
2015-01-23 11:26:03
阅读次数：
301
sqlite是一款开源的轻量级数据库，现在android和ios都在使用它来存储结构化数据，但是加密版的并非开源。折中一下只能找开源的解决方案，sqlcipher是一个不错的选择，它可以对sqlite实现加密，并且有在android和ios都有相应的库进行解密读取，只是引入的库会增加app的大小。SQLCipher is an open source library that provides transparent, secure 256-bit AES encryption of SQLite data...
分类：
数据库 时间：
2015-01-20 12:05:49
阅读次数：
224
