1.FTP在主机和虚拟机之间传文件。 这里需要注意的是，Linux系统对文件访问权限有着严格的规定，如果目录和文件的访问权限没有授权给某个用户，那么，该用户是无法访问这些目录和文件的。所以，当使用FileZilla连接Linux虚拟机时，如果采用用户名hadoop连接，那么，就只能把文件上传到Ubu ...
分类：
其他好文 时间：
2020-01-12 21:59:10
阅读次数：
103
1 详细异常 发现疑似目录：/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state下存在： 005615.sst 005638.log 005640.log CURRENT LOCK MANIFEST-004397移除所有文件。重启nodemanage ...
分类：
数据库 时间：
2020-01-12 13:24:29
阅读次数：
94
import logging# 创建一个loggerlogger = logging.getLogger('hadoop')logger.setLevel(logging.DEBUG)# 创建一个handler，用于写入日志文件log_file = 'D:\pythonproj\hadoop_too ...
分类：
其他好文 时间：
2020-01-12 13:05:03
阅读次数：
88
hive基础 大数据特性与应用 分布式架构概念 Hadoop2.x系统介绍 掌握hive基础建表，以及表格式 了解hive查询 了解正则表达式 1、hive的简介‘’ hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql的查询功能 hive的本质： ...
分类：
其他好文 时间：
2020-01-11 22:12:42
阅读次数：
106
查spark version:spark-sql --version spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz 1/ spark要访问s3需要cp /usr/lib/hadoop-current/share/hadoop/tools/ ...
分类：
其他好文 时间：
2020-01-11 11:50:20
阅读次数：
125
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
编程语言 时间：
2020-01-10 15:52:31
阅读次数：
91
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
编程语言 时间：
2020-01-10 15:51:45
阅读次数：
76
1空白处单击打开 shanghai hadoop 123456 root 123456 Hadoop hive 配置网络： 编辑 虚拟网络编辑器 nat模式 nat设置 网关ip # cd /etc/sysconfig/network-scripts/ #vi ifcfg-ens33 #servic ...
分类：
其他好文 时间：
2020-01-10 12:48:35
阅读次数：
75
1、hadoop 大数据框架 Hadoop 是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。Hadoop是项目的总称 分布式： 大数据： 指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合。 1024MB= ...
分类：
其他好文 时间：
2020-01-10 12:33:49
阅读次数：
80
