集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
一：第一大特性：依赖管理系统 maven为java世界引入了一个新的依赖管理系统jar包管理jar升级时修改配置文件即可，在java世界中，可以用groupid，artifactid，version组成的Coordination（做标）唯一标识一个依赖。 任何基于Maven构建的项目自身也必须定义这 ...
分类：
其他好文 时间：
2021-06-02 12:56:29
阅读次数：
0
Jenkins 参数多选框配置 安装插件 Extended Choice Parameter plugin 1. 新建一个流水线项目 2.选择参数化构建，并选择Extended Choice Parameter选项 3.填写参数名称和描述 4.勾选Basic Parameter Types选项 填写 ...
分类：
其他好文 时间：
2021-05-25 18:35:54
阅读次数：
0
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多 ...
分类：
其他好文 时间：
2021-05-25 18:15:53
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
** 原因：本地缓存不存在该插件的版本 ** 检查路径： C:\Users\ASUS.m2\repository\org\apache\maven\plugins\maven-compiler-plugin ** 如果有，就重启项目。没有对应的话，就把本地缓存的版本输入进去 ...
分类：
Web程序 时间：
2021-05-24 16:34:41
阅读次数：
0
