gRPC是Google开源的一个高性能、跨语言的RPC框架，基于HTTP2协议，基于protobuf 3.x，基于Netty 4.x +。 gRPC与thrift、avro-rpc、WCF等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。 protobuf相对于用Json方 ...
分类：
其他好文 时间：
2017-06-19 20:15:24
阅读次数：
397
分布式系统实践 1. 比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能 http://dwz.cn/63s0D7 摘要: 这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro, Apache Parqu ...
分类：
其他好文 时间：
2017-06-09 20:29:16
阅读次数：
193
这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro，Apache Parquet，Apache HBase和Apache Kudu空间效率，提取性能，分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你 ...
分类：
Web程序 时间：
2017-06-04 00:13:14
阅读次数：
385
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2017-06-01 11:19:26
阅读次数：
252
5月15日发布的avro 1.8.2 已经包含了js版代码。 清华大学镜像地址： https://mirrors.tuna.tsinghua.edu.cn/apache/avro/avro-1.8.2/js/ 根据README.md，运行了一下简单的例子。 具体步骤： 1.将下载的压缩包解压 2.在 ...
分类：
Web程序 时间：
2017-05-19 00:54:33
阅读次数：
195
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。 （教学视屏是it18做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成老师 ...
分类：
Web程序 时间：
2017-04-24 14:06:15
阅读次数：
216
一、准备运行所需Jar包 1）avro-1.7.4.jar 2）commons-cli-1.2.jar 3）commons-codec-1.4.jar 4）commons-collections-3.2.1.jar 5）commons-compress-1.4.1.jar 6）commons-con ...
一、概述 sqoop 是 apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。 导入数据： MySQL， Oracle 导入数据到 Hadoop 的 HDFS、 HIVE、 HBASE 等数据存储系统； 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mys ...
分类：
其他好文 时间：
2017-04-20 21:24:59
阅读次数：
294
