本文主要讲elasticsearch-2.2.1的安装过程。 准备工作: ...
分类:
其他好文 时间:
2018-11-21 19:43:35
阅读次数:
180
本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本,因为Hadoop的不同版本,源码可能是不同的。 以下是本文的大纲: ...
分类:
其他好文 时间:
2018-11-21 15:35:52
阅读次数:
116
bayaim_bayaim_hadoop2_hdfs_20181107 HDFS 原理:上传数据要分块(128M)分块存储分布式文件系统 先启动HDFS 1. sbin/start-dfs.sh 一直输入:yes 电脑密码: root/dba_2018 再启动YARN 2. sbin/start-y ...
分类:
其他好文 时间:
2018-11-19 11:10:57
阅读次数:
170
操作背景 jdk的版本为1.8以上 ubuntu12 hadoop2.5伪分布 安装 Hadoop-Eclipse-Plugin 要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可下载 Github 上的 hadoop2x-ecli ...
分类:
其他好文 时间:
2018-11-16 22:26:32
阅读次数:
287
本文描述了如何安装、配置和管理有实际意义的Hadoop集群,安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常,集群里一台机器被指定为 NameNode,另一台不同的机器被指定为DataNode。 ...
分类:
其他好文 时间:
2018-11-14 14:14:01
阅读次数:
238
运行环境:windows10 64位,虚拟机:Ubuntu Kylin 14.04,Hadoop2.7.1 错误信息: java.io.IOException: Could not locate executable D:\hadoop\bin\winutils.exe in the Hadoop ...
以下是windows环境下安装spark的过程: 1.安装JDK(version:1.8.0.152) 2.安装scala(version:2.11/2.12) 3.安装spark(version:spark-2.3.0-bin-hadoop2.6.tgz) 4.安装wintuils(设置windo ...
1.环境准备 安装Hadoop 2.7.2 安装scala 2.11.8 安装jdk 1.8.0_171 准备安装包:spark 2.2.2 bin hadoop2.7.tgz,并解压至hadoop用户目录. 2.修改配置文件 .bash_profile spark env.sh(从spark en ...
分类:
其他好文 时间:
2018-11-06 19:36:59
阅读次数:
158
1.环境准备 jdk需要1.7以上版本64位. 创建hadoop用户. 在hadoop用户目录下解压安装包hadoop 2.7.2.tar.gz 2.配置免密码登录 各节点分别执行 生成公钥和私钥:ssh keygen t rsa 四次enter. 将公钥添加进公钥库:cat ~/.ssh/id_r ...
分类:
其他好文 时间:
2018-11-06 19:35:44
阅读次数:
308
1.环境准备 jdk1.7.0_79 Hadoop2.7.2.(匹配Hbase1.2.2) zookeeer3.4.8 hbase 1.2.2 bin.tar.gz 最好和hadoop安装在统一用户下,解压安装包 2. 修改配置文件 .bashrc(多节点) source .bashrc使其生效 h ...
分类:
其他好文 时间:
2018-11-06 19:32:25
阅读次数:
272