Protocol buffer是Google出品的一种轻便高效的结构化数据存储格式。可对结构化数据进行序列化,并具有语言无关、平台无关等特点。在通信协议和数据存储等领域已经得到广泛的应用。眼下其已经提供 C/C++、Java、Python 等语言的 API。 一、Protocol buffer和XM ...
分类:
微信 时间:
2017-05-10 13:10:58
阅读次数:
325
前面的话json(javascriptobjectnotation)全称是javascript对象表示法,它是一种数据交换的文本格式,而不是一种编程语言,用于读取结构化数据。2001年由DouglasCrockford提出,目的是取代繁琐笨重的XML格式。本文将详细介绍JSON的相关内容语法规则JSON的语法可以表示以下三种类..
分类:
Web程序 时间:
2017-05-10 11:25:48
阅读次数:
253
protobuf是谷歌的Protocol Buffers的简称,用于结构化数据和字节码之间互相转换(序列化、反序列化),一般应用于网络传输,可支持多种编程语言。protobuf怎样使用这里不再介绍,本文主要介绍在MINA、Netty、Twisted中怎样使用protobuf,不了解protobuf的 ...
分类:
Web程序 时间:
2017-05-09 19:48:35
阅读次数:
428
JSON是JavaScript的一个严格的子集,利用JavaScript中的一些模式来表示结构化数据。JSON是一种结构化的数据表示方式。所以,JSON并不是JavaScript独有的数据格式,其他很多语言都可以对JSON进行解析和序列化。JSON的语法可以表示三种类型的值:1.简单值:可以在JSO ...
分类:
Web程序 时间:
2017-05-09 16:55:41
阅读次数:
215
HBase:HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提 ...
分类:
其他好文 时间:
2017-05-04 18:30:01
阅读次数:
218
Scrapy简述 Scrapy是一个爬虫应用框架,所谓爬虫,即是用来爬取web网页并从中提取结构化数据,这些爬来的数据可以被应用在广泛的有用的应用中,像数据挖掘,信息处理和历史存档等。 尽管Scrapy起初被设计用于web scraping,但是它也能被用于使用APIs提取数据(例如Amazon A ...
分类:
其他好文 时间:
2017-05-03 15:55:09
阅读次数:
170
Spiders Spider类定义了怎样爬取某个(或某些)站点。包含了爬取的动作(比如:是否跟进链接)以及怎样从网页的内容中提取结构化数据(爬取item)。 换句话说。Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spider来说。爬取的循环类似下文: 以初始的URL初 ...
分类:
Web程序 时间:
2017-05-02 13:39:54
阅读次数:
922
前言
习惯用 Json、XML 数据存储格式的你们,相信大多都没听过Protocol Buffer
Protocol Buffer 其实 是 Google出品的一种轻量 & 高效的结构化数据存储格式,...
分类:
移动开发 时间:
2017-04-28 17:15:10
阅读次数:
258
在实际应用中,我们会遇到各式各样的数据库如nosql非关系数据库(memcached,redis,mangodb),RDBMS关系数据库(oracle,mysql等),还有一些其它的数据库如hbase,在这些数据库中,又会出现结构化数据,非结构化数据,半结构化数据,下面列出各种数据类型: 结构化数据 ...
分类:
其他好文 时间:
2017-04-27 12:37:19
阅读次数:
123
什么是GoogleProtocolBuffer?GoogleProtocolBuffer(简称Protobuf)是Google公司内部的混合语言数据标准,目前已经正在使用的有超过48,162种报文格式定义和超过12,183个.proto文件。他们用于RPC系统和持续数据存储系统。ProtocolBuffers是一种轻便高效的结构化数据存储格式,可..
分类:
其他好文 时间:
2017-04-26 19:13:52
阅读次数:
747