简介
ProtocolBuffer(PB) 是一种轻便高效的结构化数据存储格式,可以用于结构化数据的序列化。
类似xml和json,但PB比前两者更高效和省空间,在移动开发中更为用户省流量。
PB如何做到更省流量的? 这得从它的编码方式来看,PB采用Zigzag 编码并充分利用Varint技术,从而实现二级制级的空间节省。
实例
步骤一, 书写 .proto 文件,这里直接上google官方实例,并...
分类:
其他好文 时间:
2015-04-07 13:58:31
阅读次数:
542
简介
ProtocolBuffer(PB) 是一种轻便高效的结构化数据存储格式,可以用于结构化数据的序列化。
类似xml和json,但PB比前两者更高效和省空间,在移动开发中更为用户省流量。
PB如何做到更省流量的? 这得从它的编码方式来看,PB采用Zigzag 编码并充分利用Varint技术,从而实现二级制级的空间节省。
实例
步骤一, 书写 .proto 文件,这里直接上google官方实例,并...
分类:
其他好文 时间:
2015-04-07 09:56:08
阅读次数:
140
摘要:DataFrame API的引入一改RDD API高冷的FP姿态,令Spark变得更加平易近人。外部数据源API体现出的则是兼容并蓄,Spark SQL多元一体的结构化数据处理能力正在逐渐释放。
关于作者:连城,Databricks工程师,Spark committer,Spark SQL主要开发者之一。在4月18日召开的 2015 Spark技术峰会 上,连城将做名为“四两拨千斤...
分类:
数据库 时间:
2015-04-03 19:26:28
阅读次数:
322
转自:http://blog.dufei.cc/index.php/archives/25/ NOSQL最近成为了一个炙手可热的话题(作者发表在2012年,话说对于现在来说,NOSQL已经如火如荼了)。大规模架构的web服务开发中对于高扩展性和半结构化数据的...
分类:
数据库 时间:
2015-04-02 22:44:01
阅读次数:
209
HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于B...
分类:
其他好文 时间:
2015-04-01 15:17:51
阅读次数:
280
一、Hbase基础 HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行...
分类:
其他好文 时间:
2015-03-30 21:19:36
阅读次数:
239
------------------------------------------------------------------------------------搜索分为两种: 1. 对结构化数据搜索:SQL语句对数据库中存储的内容进行查询。 2. 对非结构化数据搜索:文本,图片,全文搜索.....
分类:
其他好文 时间:
2015-03-16 06:11:00
阅读次数:
163
一.数据概论我们生活中的数据总体分为两种:结构化数据和非结构化数据。结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。非结构化数据:指不定长或无固定格式的数据,如邮件,word文档等。非结构化数据又一种叫法叫全文数据。当然有的地方还会提到第三种,半..
分类:
Web程序 时间:
2015-03-13 14:38:59
阅读次数:
210
NoSQL数据库都被贴上不同用途的标签,如MongoDB和CouchDB都是面向文档的数据库,但这并不意味着它们可以象JSON(JavaScript Object Notation,JavaScript对象标记)那样以结构化数据形式存储文本文档。JSON被认为是XML的代替品,它是一个轻量级的,基于...
分类:
数据库 时间:
2015-03-12 23:51:18
阅读次数:
9924