0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 1. 集群环境 操作系统 CentOS7 集群规划 Master 192.168.1.210 Slave1 192.168.1.211 Slave2 192.168.1.203 ...
分类：
其他好文 时间：
2018-12-12 00:32:32
阅读次数：
233
如果是为了编译hadoop2.8.0源码，必须使用2.5.0版本的protobuf，安装方法同下 1. 下载需要的安装包：https://github.com/google/protobuf/releases protoc-3.1.0-win32.zip（protoc-2.5.0-win32.zip ...
1，hdfs的概述 HDFS的文件块：（面试也是常聊的） 块级大小可通过配置参数（dfs.dlocksize）来规定的，如果在完全分布式情况下，默认hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。 传输一个由多个块组成的文件的时间取决于磁盘传输速率。 如果寻址时间约为1 ...
分类：
其他好文 时间：
2018-12-09 17:22:56
阅读次数：
112
一、下载安装scala 1、官网下载 2、spar01和02都建立/opt/scala目录，解压tar -zxvf scala-2.12.8.tgz 3、配置环境变量 vi /etc/profile 增加一行 export SCALA_HOME=/opt/scala/scala-2.12.8 同时把 ...
分类：
其他好文 时间：
2018-12-07 11:47:15
阅读次数：
164
1：下载hadoop2.7.3并解压 2：配置hadoop2.7.3环境变量 HADOOP_HOME %HADOOP_HOME%\bin 3：下载hadoop-eclipse-plugin插件 网址：https://github.com/winghc/hadoop2x-eclipse-plugin ...
分类：
其他好文 时间：
2018-12-05 00:06:20
阅读次数：
237
1. 主机规划 主机名称 IP地址 操作系统 部署软件 运行进程 备注 mini01 172.16.1.11【内网】 10.0.0.11 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、sp ...
分类：
其他好文 时间：
2018-12-02 20:06:06
阅读次数：
501
结果： 原文：https://blog.csdn.net/luoganttcc/article/details/80618336 PySpark 分类模型训练 参考： https://blog.csdn.net/u013719780/article/details/51792097 ...
分类：
其他好文 时间：
2018-11-30 21:48:25
阅读次数：
658
一、运行 SockWordCount例子 1、到官网上下载 flink-1.6.2-bin-hadoop27-scala_2.11.tgz 然后加压出来 2、cd flink-1.6.2 3、打开flink本地集群 ./bin/start-cluster.sh 可以到 localhost.8100上 ...
分类：
其他好文 时间：
2018-11-29 01:31:52
阅读次数：
199
一、环境 硬件：虚拟机VMware、win7 操作系统：Centos-7 64位 主机名： hadoopServerOne 安装用户：root软件：jdk1.8.0_181、Hadoop-2.9.2 二、安装jdk 1.创建hadoop目录，并赋权限chmod 777 hadoop2.下载jdk-8 ...
分类：
其他好文 时间：
2018-11-28 01:10:52
阅读次数：
352
一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgz java-version:jdk1.8.0_151 集群环境：单机伪分布式环境。 二.适用背景 在学习Sp ...
分类：
编程语言 时间：
2018-11-25 17:49:10
阅读次数：
258
