备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类：
其他好文 时间：
2021-02-02 10:48:15
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类：
其他好文 时间：
2021-02-01 12:17:43
阅读次数：
0
code macname@MacdeMacBook-Pro zipfiles % cat test.sh #!/bin/bash ZIP_FILES=$(ls *.zip) for zip_file in $ZIP_FILES; do unzip $zip_file done macname@Mac ...
分类：
系统相关 时间：
2021-02-01 11:49:14
阅读次数：
0
一、shell 变量 1、自定义局部变量 #等号两端不能有空格 var_name=liming #打印变量值 echo $var_name #使用花括号可以用于字符串拼接 echo ${var_name}123 #删除变量 unset $var_name 2、自定义常量 var_name=limin ...
分类：
系统相关 时间：
2021-02-01 11:48:55
阅读次数：
0
实例说话： 使用vscode保存，有报提示信息，可以以超级用户身份重试，于是我授权root给vscode软件，却还提示失败！ 而实际上，我使用cat命令发现已经写入成功了 终端内使用cat这条shell命令，很长，很辛苦。 这是我第一次亲身体会感受到，需要vim! 需要vim! 需要vim! 超强编 ...
分类：
系统相关 时间：
2021-01-29 11:48:07
阅读次数：
0
一. 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录， 执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当询问是否同意的时候，输入yes，回车。之后会在当前目录下生成一个jdk1.6.0_14目录，你可以 ...
分类：
编程语言 时间：
2021-01-29 11:46:30
阅读次数：
0
screen 是一款由 GNU 开发的命令行终端工具，它提供了从多个终端窗口连接到同一个 shell 会话（会话共享）。当网络中断，或终端窗口意外关闭是，中 screen 中运行的程序任然可以运行（系统自带的终端窗口，当窗口意外关闭时，在该终端窗口中运行的程序也会终止。）。 安装 screen 工具 ...
分类：
其他好文 时间：
2021-01-28 12:22:47
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
yum是一个shell前端软件包管理器，也是基于rpm包管理，能够从指定的服务器自动下载rpm包并安装，可以自动处理依赖关系，并且一次性安装所以依赖的安装包。 yum的基本指令 1)查询yum服务器是否有需要安装的软件yum list | grep xxx 2)安装特定的yum包yum instal ...
分类：
其他好文 时间：
2021-01-27 13:51:50
阅读次数：
0
