操作步骤 1）TmpBstAggZwTktModelD 按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d（临时表采用txt格式，按年月日进行分区） 2）HiveBstAggZwTktModelD 连接hive ...
分类：
数据库 时间：
2020-07-20 13:08:14
阅读次数：
129
jdk的安装 上传jdk的安装包到linux中 解压、更名 [root@qianfeng01 software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ [root@qianfeng01 software]# cd /usr/loca ...
分类：
其他好文 时间：
2020-07-19 17:54:49
阅读次数：
72
在对数据进行汇总和分析的时候，经常需要用到排名相关的操作，下面是hive中经常用到的3个排名函数： rank() dense_rank() row_number() 函数说明： rank():在一组数据内按顺序显示排名顺序，值相同的情况下，排序数会重复，下个排序数会根据记录数接着排名。 dense_ ...
分类：
其他好文 时间：
2020-07-19 00:49:43
阅读次数：
74
首先去mysql官网下载mysql的离线rpm安装包（https://downloads.mysql.com/archives/community/） 上传到/data/rpm/mysql8.0目录下 因为Mysql依赖于mariadb，所以我们先用rpm -qa | grep mariadb 查找 ...
分类：
数据库 时间：
2020-07-18 13:32:54
阅读次数：
118
1、官网下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类：
其他好文 时间：
2020-07-17 22:02:27
阅读次数：
140
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
默认安装的php不存在pdo扩展，因此在使用到的时候会报错，直接使用这个命令 apt-get install php-mysql 就可以成功安装pdo扩展 安装完数据库后需要导入sql语句，先进入数据库中提前创建数据库名，比如laykefu的数据库，-u -p 数据库名 ，后面跟上sql文件的地址就 ...
分类：
数据库 时间：
2020-07-16 12:01:11
阅读次数：
72
前面已经做了类别和连续特征的分析，本文将针对特征工程进行 导入数据 import pandas as pd import numpy as np import matplotlib import matplotlib.pyplot as plt import seaborn as sns %matp ...
分类：
其他好文 时间：
2020-07-15 23:08:45
阅读次数：
90
执行报错如下： 20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/ ...
分类：
数据库 时间：
2020-07-15 15:29:36
阅读次数：
88
蚂蚁森林案例背景说明 原始数据样例 user_low_carbon.txt 记录用户每天的蚂蚁森林低碳生活领取的流水 数据样例 u_001 2017/1/1 10 u_001 2017/1/2 150 u_001 2017/1/2 110 plant_carbon.txt 记录申领环保植物所需要减少 ...
分类：
其他好文 时间：
2020-07-14 00:35:41
阅读次数：
817
