最近研究了一下淘宝的分布式文件系统TFS（Taobao file system）。TFS（taobao file system）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上...
分类：
Web程序 时间：
2014-11-29 22:58:33
阅读次数：
247
结构化数据、非结构化数据以及半结构化数据是对存储形式的一种数据类型分析结构化数据、非结构化数据以及半结构化数据对比 类别结构化数据半结构化数据非结构化数据数据特征数据结构字段含义确定,清晰具有一定结构,但语义不够确定；自描述，数据结构和内容混杂在一起杂乱无章的数据,很难按照一个概念去进行抽取,无.....
分类：
其他好文 时间：
2014-11-26 11:12:23
阅读次数：
115
背景:NoSQL运动,NotOnlySQLNewSQL,SQL的逆袭放弃SQL是最大的错误Hive还不算是完整的数据库系统Hive很缓慢应用于即席查询场景Hive:数据仓库工具,可以把Hadoop下的原始结构化数据变为Hive中的表支持一种与SQL几乎完全相同的语言HiveQL.除了不支持更新,索引和事务,几乎SQL的其他特..
分类：
其他好文 时间：
2014-11-26 06:48:30
阅读次数：
249
Hbase简介Hbase是一个分布式的,面向列的开源数据库,该技术来源于Changetal所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,Hbase在Hadoop之上提供了类似于Bigtable的能力Hbase是Apache的..
分类：
其他好文 时间：
2014-11-26 06:47:41
阅读次数：
183
xml转json？猛一听是不是挺蛋疼的，都是结构化数据的格式有这转换的必要么？是的，其实我也觉得无聊，不过手痒痒，总想来试试。网上也能找到一款名为xmltodict的转换工具，也挺好用的。我的方法如下，原理很简单，代码也很短。...
分类：
编程语言 时间：
2014-11-22 20:16:52
阅读次数：
169
JSON 与Qt插件的元信息 MetaData
Qt插件的源码中，基本都能见到一个 xxx.json 的文件，这个文件中通常只包含一句：
{
"Keys": [ "yyy" ]
}
我们可以猜到这个文件中的"Keys"应该是指定了与插件相关的关键字。那这个 .json 文件到底是如何起作用的?
先来认识一下 JSON .
JSON是一种存储结构化数据的格式，它...
分类：
Web程序 时间：
2014-11-21 06:57:40
阅读次数：
329
Items
爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy提供 Item 类来满足这样的需求。
Item 对象是种简单的容器，保存了爬取到得数据。
其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。
声明Item
Item使用简单的class定义语法以及 Field 对象来声明。例如:
...
分类：
其他好文 时间：
2014-11-20 12:04:35
阅读次数：
383
Spiders
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说，爬取的循环类似下文:
以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生...
分类：
Web程序 时间：
2014-11-20 12:04:07
阅读次数：
329
1.Android数据库简介
Android通过结合使用SQLite数据库和Content Provider，提供了结构化数据的持久功能。
SQLite数据库可以通过一种结构化的、易于管理的方法来存储应用程序数据。Android提供了一个完整的SQLite关系数据库的库文件。每个应用程序都可以创建自己的数据库，并对这个数据库拥有完全的控制权。...
分类：
移动开发 时间：
2014-11-18 10:25:11
阅读次数：
210
protocol buffers是google提供的一种将结构化数据进行序列化和反序列化的方法，其优点是语言中立，平台中立，可扩展性好，目前在google内部大量用于数据存储，通讯协议等方面。PB在功能上类似XML，但是序列化后的数据更小，解析更快，使用上更简单。用户只要按照proto语法在.pro...
分类：
其他好文 时间：
2014-11-12 19:41:59
阅读次数：
374
