备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类：
其他好文 时间：
2021-02-02 10:48:15
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类：
其他好文 时间：
2021-02-01 12:17:43
阅读次数：
0
*TreeMap* 小案例 package com.treemappractice; /** * 学生实体类 */ public class Student implements Comparable<Student>{ private String name; private int stuNo; ...
分类：
其他好文 时间：
2021-02-01 11:54:05
阅读次数：
0
ActiveMQ是Apache软件基金会所研发开源的消息中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。 现在的消息队列有不少，RabbitMQ、Kafka、RocketMQ，ZeroMQ等等，而ActiveMQ作为拥有十多年历史的产品，有着许许多多的成功案例，活跃的社区，让它 ...
分类：
其他好文 时间：
2021-01-29 12:02:36
阅读次数：
0
Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO ...
分类：
编程语言 时间：
2021-01-28 11:56:52
阅读次数：
0
案例 import os from hashlib import md5 from selenium import webdriver import requests from lxml import etree # 首页请求 def get_response(url): headers = {"u ...
分类：
Web程序 时间：
2021-01-28 11:56:06
阅读次数：
0
今日内容 1. web相关概念回顾 2. web服务器软件：Tomcat 3. Servlet入门学习 web相关概念回顾 1. 软件架构 1. C/S：客户端/服务器端 2. B/S：浏览器/服务器端 2. 资源分类 1. 静态资源：所有用户访问后，得到的结果都是一样的，称为静态资源.静态资源可以 ...
分类：
Web程序 时间：
2021-01-28 11:53:30
阅读次数：
0
案例截图： 详解： 1) Application/Admin/Controller/目录下新建控制器文件AjaxController.class.php 1 <?php 2 namespace Admin\Controller; 3 use Think\Controller; 4 class Aja ...
分类：
Web程序 时间：
2021-01-27 14:04:07
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
