Hive的SQL可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表函数（UDTF）进行扩展。 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF）。 UDF、UDAF、UDTF的区别： UDF（User-Defined-Functio ...
分类：
其他好文 时间：
2020-09-17 21:51:10
阅读次数：
35
文件上传 文件内容检测 0x00 文件头检测 文件内容检测是文件头检测，不同的文件不同的文件头，后台根据文件头判断文件类型，如果检测的比较好，攻击就比较困难了 常见文件文件头： PEG (jpg)，文件头：FFD8FF PNG (png)，文件头：89504E47 GIF (gif)，文件头：474 ...
分类：
Web程序 时间：
2020-09-17 19:09:35
阅读次数：
42
在日常变更过程中，变更前会注释某些定时任务(比如巡检告警等)，变更完成后需恢复，有时变更操作的服务器很多，对应需要注释的crontab也很多且不相同，本文通过分发平台执行对应脚本批量实现crontab的注释和解注释功能。
分类：
其他好文 时间：
2020-09-17 18:47:16
阅读次数：
39
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
本文会从一个商务分析案例入手，说明SQL窗口函数的使用方式。通过本文的5个需求分析，可以看出SQL窗口函数的功能十分强大，不仅能够使我们编写的SQL逻辑更加清晰，而且在某种程度上可以简化需求开发。数据准备本文主要分析只涉及一张订单表orders，操作过程在Hive中完成，具体数据如下：--建表CREATETABLEorders(order_idint,customer_idstring,citys
分类：
数据库 时间：
2020-09-17 16:33:50
阅读次数：
45
一、xlrd模块介绍 1.xlrd是读取excel表格数据； 2.支持xlsx和xls格式的excel表格 3.安装方式：pip install xlrd 4.模块导入方式：import xlrd 二、环境准备 1.先安装xlrd模块，打开cmd，输入pip install xlrd在线安装 三、基 ...
分类：
编程语言 时间：
2020-09-17 12:31:00
阅读次数：
30
前几天遇到一个这样的需求：销售总占比加起来超过75%的top分类。具体需求是这样的：商品一级分类标签下面有许多商品标签，例如运动户外一级标签，下面可能存在361°，CBA，Nike，Adidas...等这些商品标签。我们需要统计在一级标签下面占总销售比超过75%的商品标签有哪些，从而让我们了解一级品... ...
分类：
其他好文 时间：
2020-09-16 12:19:01
阅读次数：
73
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函 ...
分类：
其他好文 时间：
2020-09-16 12:06:37
阅读次数：
34
源【1-1】如果有镜像源可以忽略此步骤一.zabbix安装 【1-1】 安 装 源【1-2】清理缓存【1-3】服务安装【1-4】修改配置二.安装数据库【2-1】下载工具【2-2】上 传 包【2-3 】 配 置三.zabbix配置【3-1】server端【3-2】agent端【3-3】补 充 四.服务... ...
分类：
其他好文 时间：
2020-09-14 19:09:47
阅读次数：
23
