解释以下 hadoop是用户名 Hadoop1是主机名 第一步 vim /etc/udev/rules.d/70-persistent-net.rules进入文件 删除eth0一整行把eth1改成eth0 复制地址00:0c:29:58:b8:56保存退出 第二步: vim /etc/sysconf ...
分类：
其他好文 时间：
2019-12-10 16:52:18
阅读次数：
111
因为要配置Hadoop集群服务，折腾了好久的ssh免密登录，简直要把人整疯了，在网上看了好多分享，都没搞定，最后看到一篇类似的，加上自己瞎蒙，终于成了，而且是超级简单，现在吐血总结一下。 我的是CentOS8虚拟机，干货来了。 第一步：vim /etc/ssh/sshd_config，将Pubkey ...
分类：
系统相关 时间：
2019-12-10 15:11:21
阅读次数：
103
大数据相关组件下载网址：http://archive.apache.org/dist/阿里云密钥对设置：https://blog.csdn.net/jincheng2817/article/details/86660078 阿里云搭建hadoop 内外网IP配置问题：https://www.cnbl ...
分类：
其他好文 时间：
2019-12-09 19:08:44
阅读次数：
108
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
首先确保安装SSH server： sudo apt-get install openssh-server 启动SSH server: sudo service ssh start ssh localhost #检查ssh是否正常启动 启动SSH server: sudo service ssh s ...
分类：
其他好文 时间：
2019-12-09 17:28:55
阅读次数：
100
1 主要步骤 配置网络 修改主机名 关闭防火墙 关闭SELinux 安装jdk 增加hadoop用户 配置ssh信任 配置hadoop 集群部署规划 5台服务器， 一个主节点：nn1.hadoop， master （HA） 一个从节点：nn2.hadoop，slave 三个工作节点： s1.hado ...
分类：
系统相关 时间：
2019-12-09 01:34:10
阅读次数：
243
版本：（centos7.6） 在开始搭建平台前我已经预装了MySQL ps：MySQL创建用户并授权： 1 grant all privileges on *.* to 'root'@'localhost' identified by '123456' with grant option 好了，不多 ...
分类：
其他好文 时间：
2019-12-08 10:37:34
阅读次数：
102
大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
安装步骤： 1、新建虚拟机（网络选桥接模式、内存尽量大） 2、安装Ubuntu 18.04 3、安装JDK JRE 4、创建hadoop用户 5、配置SSH无密码登录 此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。 但这样登陆是需要每次 ...
分类：
系统相关 时间：
2019-12-08 01:32:25
阅读次数：
260
1 详细异常 2 解决方案 权限问题 sudo -hdfs /mnt/software/hbase-1.2.0-cdh5.16.1/bin/start-hbase.sh 指定特定权限用户 启动集群 ...
分类：
数据库 时间：
2019-12-08 01:10:34
阅读次数：
278
