背景：服务器运行过程中发现内存不够用，缓存的又太多 现象： 解决办法： 1、同步数据到磁盘 [root@localhost ~]# sync 2、根据需求清除对应缓存 [root@localhost ~]# echo 3 > /proc/sys/vm/drop_caches 参数说明： 0 //默认 ...
分类：
系统相关 时间：
2021-06-07 20:40:37
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类：
数据库 时间：
2021-06-07 20:10:49
阅读次数：
0
1. 使用 drop_duplicates 去重 1.1 初始化数据 df = pd.DataFrame({'stu_name': ['Tom', 'Tony', 'Jack', 'Jack', np.nan], 'stu_age': [16, 16, 15, np.nan, 21]}) stu_n ...
分类：
其他好文 时间：
2021-06-06 19:31:16
阅读次数：
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-06 19:08:48
阅读次数：
0
创建表 create table agg_source( \ id UInt8, \ name String, \ city String, \ money UInt32 \ ) engine=MergeTree() \ partition by city \ order by id; 插入数据 i ...
分类：
其他好文 时间：
2021-06-05 18:20:32
阅读次数：
0
linux防火墙使用以及配置 Centos 7 firewall ： 1、firewalld的基本使用 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态： systemctl status firewalld 开机禁用 ： ...
分类：
系统相关 时间：
2021-06-04 19:47:34
阅读次数：
0
创建表：create table people( id int primary key auto_increment not null, name varchar(10) not null, age int default 18); 创建学生表： create table students(id i ...
分类：
数据库 时间：
2021-06-04 18:53:42
阅读次数：
0
spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。 cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/lo ...
分类：
数据库 时间：
2021-06-02 19:08:19
阅读次数：
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类：
数据库 时间：
2021-06-02 19:00:44
阅读次数：
0
