一：数据表建立 （一）创建数据库 hive> create database hadoop; hive> use hadoop; 数据库位置在 hdfs://ns1/user/hive/warehouse/hadoop.db目录下 （二）建表 hive> create table t_order(i ...
分类：
其他好文 时间：
2020-03-02 20:36:46
阅读次数：
82
1、打包 ①idea的打包很简单，网上教程也很多，简单说下：project struct-->artifact-->+-->Web Application:Archive-->for "项目名:war exploded" ②在下图示的右边，右键-->Put into Output Root，完成之后 ...
分类：
Web程序 时间：
2020-03-02 14:39:39
阅读次数：
134
首发于“生信补给站” ，https://mp.weixin.qq.com/s/l9Ci7wREQWpEV5dTvKuoHg，更多的R统计，绘图，生信，请移步🤭 上篇根据 msleep数据集，介绍了列的操作，盘一盘Tidyverse| 筛行选列之select，玩转列操作 本文盘一盘行的筛选，🤭！ ...
分类：
其他好文 时间：
2020-03-02 10:45:09
阅读次数：
59
1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
hive的floor函数和ceil函数与python、sql等一致 1. floor函数 select floor(1.4) # 结果是：1 2. ceil函数 select ceil(1.4) #结果是：2 3. hive的round函数与python稍微有点差别 首先说hive的round：直接 ...
分类：
其他好文 时间：
2020-02-29 20:41:43
阅读次数：
269
Hadoop初学思维导图 1，Hadoop ··· Hadoop： Hadoop的核心由HDFS和MapReduce组成。HDFS是分布式文件系统，是Hadoop生态圈的分布式数据存储基石；MapReduce是计算组件，会被Spark取代。 ··· Hadoop生态圈： Hadoop生态圈是一系列用 ...
分类：
其他好文 时间：
2020-02-29 00:17:31
阅读次数：
101
IDEA https://www.cnblogs.com/tonycody/p/3257601.html Nodpad++连接Linux https://blog.csdn.net/GuoYuanNan/article/details/77168387 IDEA+MAVN HIVE UDF http ...
分类：
其他好文 时间：
2020-02-28 22:24:29
阅读次数：
64
1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数 ...
分类：
其他好文 时间：
2020-02-27 20:52:31
阅读次数：
264
建表 1 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) 2 [(col_name dat ...
分类：
其他好文 时间：
2020-02-26 18:43:12
阅读次数：
80
一、Device Mapper简介 dm-verity是内核子系统的Device Mapper中的一个子模块，所以在介绍dm-verity之前先要介绍一下Device Mapper的基础知识。Device Mapper为Linux内核提供了一个从逻辑设备到物理设备的映射框架，通过它，用户可以定制资源 ...
分类：
其他好文 时间：
2020-02-26 01:43:59
阅读次数：
139
