let arr1 = ['one', 'two', 'there'], arr2 = ['red', 'yellow', 'blue'], arr3 = ['brid', 'dog', 'pig'], arr4 = ['orange','apple','banner' ...
分类：
编程语言 时间：
2020-04-20 16:07:43
阅读次数：
82
一：自定义数据类 为什么需要自定义数据类 上一篇文章里面我们自己写了一个mapreduce 里面的Top N的https://www.cnblogs.com/wuxiaolong4/p/12733518.html，我们可以从代码里面看出来，里面用|作分隔符，这种方法不好，会由于你自己的失误导致读取字 ...
分类：
其他好文 时间：
2020-04-19 23:46:13
阅读次数：
104
1. Java Download the Java 1.8 64 bit version from https://java.com/en/download/ If not 64 bit java there will be error when start resource node manage ...
0x00 java环境配置 Hadoop需要java环境，首先检测是否存在java环境： java –version 如果没有，则需要去Oracle官网下载jdk： https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.h ...
分类：
系统相关 时间：
2020-04-19 13:00:02
阅读次数：
84
HBase的前提条件： JDK SSH Hadoop JDK:Hadoop和JDK运行的环境，他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如： jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中，只有启动sshd后，才可以通过 ...
分类：
系统相关 时间：
2020-04-19 00:46:23
阅读次数：
101
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
一、前提条件 1、3台虚拟机，java1.8环境配置，hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html，以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 ...
分类：
其他好文 时间：
2020-04-17 00:28:41
阅读次数：
83
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
Hadoop安装，在格式化时有错误 [Fatal Error] core-site.xml:1:8: Element type "meNode" must be followed by either attribute specifications, ">" or "/>".20/04/16 10: ...
分类：
其他好文 时间：
2020-04-17 00:15:56
阅读次数：
105
1.前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信(ssh免密)。 1.2 Java1.8环境已经配置好 1.3 Hadoop集群已经完成搭建 1.4 Scala软件包和Spark软件包的下载 https://www.scala-lang.org/download/ http://spar ...
分类：
其他好文 时间：
2020-04-17 00:05:12
阅读次数：
66
