方法一： 使用maven方式创建。 1.1创建Maven项目 1.选择file->new->project，创建maven项目 2. 选择默认的工作空间 3.选择项目的类型，这里以web项目为主，选择quickstart类型的： 4.填写项目组和名称，点击finish 5.此时一个maven项目就创 ...
分类：
编程语言 时间：
2021-02-04 11:54:58
阅读次数：
0
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>2.1</version> <configur ...
分类：
系统相关 时间：
2021-02-03 11:07:55
阅读次数：
0
备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类：
其他好文 时间：
2021-02-02 10:48:15
阅读次数：
0
承接上篇：上篇文章讲到改造 go-zero 生成的 app module 中的 gateway & RPC 。本篇讲讲如何接入 异步任务 以及 log的使用。 Delay Job 日常任务开放中，我们会有很多异步、批量、定时、延迟任务要处理，go-zero中有 go-queue，推荐使用 go-qu ...
分类：
其他好文 时间：
2021-02-02 10:46:15
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类：
其他好文 时间：
2021-02-01 12:17:43
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
<！-- demodemo.xml --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.0</version> ...
分类：
其他好文 时间：
2021-01-26 12:23:58
阅读次数：
0
Maven安装前准备 1、JDK已安装1.7或更高版本，JDK安装见此博客 2、IDEA或Eclipse，此处以IDEA为例 Maven下载： 下载地址：点击此处 ? Maven安装： 解压下载的程序包并放到想要配置的目录，F:\Maven\apache-maven-3.6.3 ? 将Maven添加 ...
分类：
其他好文 时间：
2021-01-25 11:35:04
阅读次数：
0
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每 ...
分类：
其他好文 时间：
2021-01-25 11:30:09
阅读次数：
0
