FileUtilsDelete.java // 删除文件和文件夹 package com.imooc.bigdata.hadoop.mr.wc; import java.io.File; public class FileUtilsDelete { /** * 删除文件,可以是文件或文件夹 * * ...
分类:
编程语言 时间:
2020-05-05 10:56:33
阅读次数:
68
1、下载安装包elasticsearch oss 7.6.2 linux x86_64.tar.gz到hadoop1 "elasticsearch oss 7.6.2 linux x86_64.tar.gz" 2、远程传输到hadoop2、hadoop3节点 scp r elasticsearch ...
分类:
其他好文 时间:
2020-05-05 10:46:38
阅读次数:
110
https://blog.csdn.net/qq_16403141/article/details/77598532 setOutputKeyClass和setOutputValueClass默认是同时设置map和reduce的输出类型的。 解决办法: 当K2, V2 和K3 , V3类型不一致时, ...
分类:
其他好文 时间:
2020-05-04 19:27:28
阅读次数:
66
一、简介 Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题: (1)海量数据的存储 [HDFS] (2)海量数据的分析 [MapReduce] (3)资源管理调度 [YARN] 二、hadoop架构 在其核心,Hadoop ...
分类:
其他好文 时间:
2020-05-03 10:26:41
阅读次数:
66
一、下载Hadoop包和JDK1、下载Hadoop地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk:链接:https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码:0j0j二、准备虚拟机1、在VMware中创建新的虚拟机(Cen
分类:
其他好文 时间:
2020-05-03 01:08:47
阅读次数:
68
原文:nginx开启ssl并把http重定向到https的两种方式 1 简介 Nginx是一个非常强大和流行的高性能Web服务器。本文讲解Nginx如何整合https并将http重定向到https。 https相关文章如下: (1)Springboot整合https原来这么简单 (2)HTTPS之密... ...
分类:
Web程序 时间:
2020-05-02 20:44:44
阅读次数:
78
喜欢关注个人公众号:java乐园HttpSession是通过Servlet容器创建和管理的,像Tomcat/Jetty都是保存在内存中的。但是把应用搭建成分布式的集群,然后利用F5、LVS或Nginx做负载均衡,那么来自同一用户的Http请求将有可能被分发到多个不同的服务器中。那问题来了,如何保证不同的服务器能够共享同一份session数据呢?最简单的想法,就是把session数据保存到内存以外的
分类:
编程语言 时间:
2020-05-02 09:18:42
阅读次数:
58
Hive架构架构原理: 1.4.1 查询语言 由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的 查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 1.4.2 数据存储位置 Hive 是建立在 Hadoop 之上的,所有 H ...
分类:
其他好文 时间:
2020-05-01 16:26:49
阅读次数:
51
HttpSession是通过Servlet容器创建和管理的,像Tomcat/Jetty都是保存在内存中的。但是把应用搭建成分布式的集群,然后利用F5、LVS或Nginx做负载均衡,那么来自同一用户的Http请求将有可能被分发到多个不同的服务器中。那问题来了,如何保证不同的服务器能够共享同一份sess ...
分类:
编程语言 时间:
2020-05-01 15:03:51
阅读次数:
68
HbaseAPI创建表错误记录Demo方法:importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDe