本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
一、Oracle数据库操作 1、创建数据库 create database databasename 2、删除数据库 drop database dbname 3、备份数据库 完全备份 exp demo/demo@orcl buffer=1024 file=d：\back.dmp full=y de ...
分类：
数据库 时间：
2021-02-02 11:29:38
阅读次数：
0
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
设置规则 iptables -A FORWARD -d 10.0.0.100 -m quota --quota 1024 -j ACCEPTiptables -A FORWARD -d 10.0.0.100 -j DROP 添加流量限制100G iptables -I FORWARD -d 10.0 ...
分类：
其他好文 时间：
2021-02-02 10:52:22
阅读次数：
0
axis的重点在于方向，而不是行和列。1表示横轴，方向从左到右；0表示纵轴，方向从上到下。（记忆：一横心） 当axis=1时，如果是求平均，那么是从左到右横向求平均；如果是拼接，那么也是左右横向拼接； 3.如果是drop列，那么也是横向发生变化，体现为列的减少。(有点难理解，删除math列，因为列减 ...
分类：
其他好文 时间：
2021-02-01 12:51:41
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
实例说话： 使用vscode保存，有报提示信息，可以以超级用户身份重试，于是我授权root给vscode软件，却还提示失败！ 而实际上，我使用cat命令发现已经写入成功了 终端内使用cat这条shell命令，很长，很辛苦。 这是我第一次亲身体会感受到，需要vim! 需要vim! 需要vim! 超强编 ...
分类：
系统相关 时间：
2021-01-29 11:48:07
阅读次数：
0
https://www.stm32cube.com/question/952 CubeMX使用高级定时的重复计数功能实现制定个数脉冲PWM 关注 | 10 ... 1、配置定时器1的PWM通道 2、配置高级定时器参数 3、开启更新中断 4、生产工程斌启动定时器和PWM输出 5在更新中断回调函数中关闭 ...
分类：
其他好文 时间：
2021-01-28 12:21:56
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
set hive.mapred.mode=nonstrict； 这是不严格模式，默认如此 对分区表进行查询，若在where子句中没有加分区的话，将禁止提交任务。 把属性值进行设置.默认值是没有开启的。默认是nonstrict 查看hive是否开启严格模式 set hive.mapred.mode 说 ...
分类：
其他好文 时间：
2021-01-26 12:44:54
阅读次数：
0
