一、套接字（socket）概念 套接字（socket）是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。 应用层通过传输层进行 ...
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi ...
分类：
其他好文 时间：
2019-12-17 13:29:41
阅读次数：
64
如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下： 会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Com ...
hadoop@master ~]$ 1、hadoop 启动start-all.sh 停止 stop-all.sh 2、hive hive 3、zookeeper cd /home/hadoop启动 命令（每台机器都启动） zookeeper-3.4.14/bin/zkServer.sh start ...
分类：
其他好文 时间：
2019-12-16 15:01:41
阅读次数：
98
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和... ...
分类：
其他好文 时间：
2019-12-16 13:10:45
阅读次数：
522
Oracle12c中数据泵新特性之功能增强(expdp, impdp) Oracle的数据泵功能在10g中被引进。本文对数据泵在12c中的增强做一个概览。 1. 禁用日志选项(DISABLE_ARCHIVE_LOGGING) Impdp的TRANSFORM参数已经扩展为包括DISABLE_ARCHI ...
分类：
数据库 时间：
2019-12-16 11:31:35
阅读次数：
133
FineUIPro/Mvc/Core的下个版本（v6.1.0），我们对复选框进行了增强，通过一个属性启用开关样式。 先来看下示例效果，浅色主题（Pure Black）： 深色主题（Dark Hive）： 在这个更新中，我们为CheckBox控件新增了如下 4 个属性： DisplayType：复选框 ...
分类：
其他好文 时间：
2019-12-16 11:29:12
阅读次数：
84
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
https://developer.nvidia.com/embedded/downloads JetPack (the Jetson SDK) is an on-demand all-in-one package that bundles developer software for the NV ...
分类：
其他好文 时间：
2019-12-14 19:21:40
阅读次数：
381
Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述UDF/UDAF/UDTF是什么，各自解决问题及 ...
分类：
其他好文 时间：
2019-12-14 16:10:09
阅读次数：
90
