目标：搭建hadoop+hbase+zoopkeer+hive开发环境安装环境:1、centeros192.168.1.1012、centeros192.168.1.102开发环境：window+eclipse一、安装hadoop集群1、配置hosts#vi/etc/hosts192.168.1.101master192.168.1.101slave12、关闭防火墙：systemctlstatus
分类：
其他好文 时间：
2019-12-18 10:52:49
阅读次数：
80
#-*- encoding: utf-8 -*- ''' @describe: 读取mysql数据库的工具类 ''' import sys sys.path.append("/home/hadoop/crawler") from configs import config import MySQLd ...
分类：
数据库 时间：
2019-12-17 00:34:29
阅读次数：
126
hadoop配置 一、首先写两个实用的小脚本 1、执行命令 ：xcall.sh ls 则可以在四台机器上循环执行命令 ls(首先需要支持ssh免密登陆) 2、可以使用命令xscp.sh /soft/download/ 把download下的所有文件传到其他三台服务器对应目录下(首先需要支持ssh免密 ...
分类：
其他好文 时间：
2019-12-16 19:41:15
阅读次数：
107
一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
hadoop@master ~]$ 1、hadoop 启动start-all.sh 停止 stop-all.sh 2、hive hive 3、zookeeper cd /home/hadoop启动 命令（每台机器都启动） zookeeper-3.4.14/bin/zkServer.sh start ...
分类：
其他好文 时间：
2019-12-16 15:01:41
阅读次数：
98
切记！！！！！ 没有比官网教程更详细，更靠谱的教程！！！！！ 其他的基本都是官网的翻译，但是官网的教程是实时更新的，要是不注意版本，坑根本就踩不完！！！ 附上官网部署教程： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoo ...
分类：
其他好文 时间：
2019-12-16 13:28:29
阅读次数：
97
完全分布式集群模式，是真正的生产环境，这里详细讲解的就是如何搭建一个Hadoop完全分布式集群。 ...
分类：
其他好文 时间：
2019-12-16 09:43:30
阅读次数：
97
Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Coul ...
分类：
其他好文 时间：
2019-12-15 23:53:26
阅读次数：
859
一.初始化环境 1.安装zookeeper环境并启动 2.安装hadoop环境并启动 3.准备三台服务器搭建Hbase集群 二.下载安装包 下载地址： http://archive.apache.org/dist/hbase/2.0.0/hbase-2.0.0-bin.tar.gz 三.搭建集群环境 ...
分类：
其他好文 时间：
2019-12-15 20:26:23
阅读次数：
96
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
