同样的代码，只改了类型，分别为stringbuilder和stringbuffer，只比较一下，执行引擎为hive。 当数据量为100000条，string builder耗时280秒，stringbuffer耗时261秒。 当数据量为1000000条，string builder耗时878秒，st ...
分类：
其他好文 时间：
2020-06-04 13:51:29
阅读次数：
59
pyetl是一个纯python开发的ETL框架， 相比sqoop, datax 之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯 安装 pip3 install pyetl 使用示例 ...
分类：
编程语言 时间：
2020-06-04 10:25:51
阅读次数：
135
Qt 所有版本官方下载地址 1.所有版本QT下载地址 ： Index of /archive/qt 2. 所有Qt Creator下载地址： Index of /archive/qtcreator 3. 所有Qt VS开发插件下载地址: Index of /archive/vsaddin 4.Qt官 ...
分类：
其他好文 时间：
2020-06-02 21:40:06
阅读次数：
245
《Hive底层执行引擎的深度剖析》的公开课，助力懵懂小伙伴进阶真正的Hive顶尖高手。 ...
分类：
其他好文 时间：
2020-06-02 18:58:58
阅读次数：
91
CDH6.3.2开启kerberos遇到的坑标签（空格分隔）：大数据平台构建一：关于安装系统的一些坑二：关于开启KerberosJava的一些坑三：关于hive一：关于安装系统的一些坑1）安装之前一定确认jdk的安装目录因为通过centos7这个系统默认会在装之前会自带一些jdk版本要彻底卸载这个jdk，最好是保证安装系统之前自装最简的centos7.5x64mini2)系统最好分区为三个/swa
分类：
其他好文 时间：
2020-06-02 18:51:54
阅读次数：
209
来自 http://blog.sina.com.cn/s/blog_63945aeb0102y0hb.html Visual studio2017：安装在了D盘 VS2017 安装界面较以前版本更加方便 VS2017安装界面 ? 选择安装windows的三个组件就够了，其实只要第一个通用Window ...
分类：
其他好文 时间：
2020-06-02 11:18:14
阅读次数：
470
Linux中的文件描述符(fd)与打开文件之间的关系 1. 概述 在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的 ...
分类：
系统相关 时间：
2020-06-01 12:07:01
阅读次数：
161
hive 元数据结构 Table of Contents 1. CDS 2. db相关 2.1. DBS 2.2. DATABASE_PARAMS 3. SerDe相关 3.1. SERDES 3.2. SERDES_PARAMS 4. 存储相关 4.1. SDS 4.2. SD_PARAMS 5. ...
分类：
数据库 时间：
2020-06-01 01:05:04
阅读次数：
105
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类：
其他好文 时间：
2020-05-31 19:30:40
阅读次数：
69
