1、打包 ①idea的打包很简单，网上教程也很多，简单说下：project struct-->artifact-->+-->Web Application:Archive-->for "项目名:war exploded" ②在下图示的右边，右键-->Put into Output Root，完成之后 ...
分类：
Web程序 时间：
2020-03-02 14:39:39
阅读次数：
134
1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
hive的floor函数和ceil函数与python、sql等一致 1. floor函数 select floor(1.4) # 结果是：1 2. ceil函数 select ceil(1.4) #结果是：2 3. hive的round函数与python稍微有点差别 首先说hive的round：直接 ...
分类：
其他好文 时间：
2020-02-29 20:41:43
阅读次数：
269
Hadoop初学思维导图 1，Hadoop ··· Hadoop： Hadoop的核心由HDFS和MapReduce组成。HDFS是分布式文件系统，是Hadoop生态圈的分布式数据存储基石；MapReduce是计算组件，会被Spark取代。 ··· Hadoop生态圈： Hadoop生态圈是一系列用 ...
分类：
其他好文 时间：
2020-02-29 00:17:31
阅读次数：
101
IDEA https://www.cnblogs.com/tonycody/p/3257601.html Nodpad++连接Linux https://blog.csdn.net/GuoYuanNan/article/details/77168387 IDEA+MAVN HIVE UDF http ...
分类：
其他好文 时间：
2020-02-28 22:24:29
阅读次数：
64
1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数 ...
分类：
其他好文 时间：
2020-02-27 20:52:31
阅读次数：
264
一、文件下载漏洞 1.1 概述 很多网站都会提供文件下载的功能，即用户可以通过点击下载链接，下载到链接所对应的文件。但是，如果文件下载功能设计不当，则可能导致攻击者可以通过构造文件路径，从而获取到后台服务器上的其他的敏感的文件。（又称：任意文件下载） 1.2 演示 1、我们打开pikachu平台上的 ...
分类：
Web程序 时间：
2020-02-27 14:36:42
阅读次数：
93
建表 1 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) 2 [(col_name dat ...
分类：
其他好文 时间：
2020-02-26 18:43:12
阅读次数：
80
一、Device Mapper简介 dm-verity是内核子系统的Device Mapper中的一个子模块，所以在介绍dm-verity之前先要介绍一下Device Mapper的基础知识。Device Mapper为Linux内核提供了一个从逻辑设备到物理设备的映射框架，通过它，用户可以定制资源 ...
分类：
其他好文 时间：
2020-02-26 01:43:59
阅读次数：
139
1.获取 不管是什么格式，一旦锁定了某种数据，那么了解该数据中有什么以及没有什么，就变得非常重要了。 import urllib.request 2.检查和探索 主要的目标是合理 地检查数据，而实现这一点的最好办法是发现不可能或几乎不可能的事情。举个例子， 如果数据具有唯一的标识符，检查是否真的只有 ...
分类：
其他好文 时间：
2020-02-25 20:34:44
阅读次数：
60
