一、准备工作 1.准备几台机器，我这里使用VMware准备了四台机器，一个name node，三个data node。 VMware安装虚拟机：https://www.cnblogs.com/nijunyang/p/12001312.html 2.Hadoop生态几乎都是用的java开发的，因此四台 ...
分类：
其他好文 时间：
2019-12-24 09:29:42
阅读次数：
66
前言 环境： JDK 1.8+Flink 1.6+Hadoop 2.7.3 文中若有表述不正确，欢迎大伙留言指出，谢谢！ 1、现象 使用yarn-session在yarn上启动flink集群并提交任务后，在Flink Web UI 上发现任务的state个数每十分钟左右会从0到10左右后又重复从0开 ...
分类：
其他好文 时间：
2019-12-23 00:56:48
阅读次数：
167
原文链接：https://blog.csdn.net/u012834750/article/details/80508464 前言 每次在使用Docker启动Hadoop集群的时候，都需要重新绑定下网卡，固定IP，同时修改/etc/hosts文件，非常麻烦，于是想探寻下原因及优化。一、原因/etc/ ...
分类：
其他好文 时间：
2019-12-23 00:55:14
阅读次数：
344
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示。 1.2 大数据特点（4V） 大数据特点如图2-2，2-3，2-4，2-5所示 1.3 大数据应用场景 大数据应用场景如图2-6，2-7，2-8，2-9，2-10，2-11所示 1.4 大数据发展前景 大数据发展前景如图2-12，2 ...
分类：
其他好文 时间：
2019-12-22 00:26:39
阅读次数：
82
Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
EMR目录： 配置文件目录:/etc/ecm/hadoop-conf#看gateway机器配置是否同步,直接看配置文件,如:/etc/ecm/hadoop-conf/core-site.xml 然后输入命令hadoop classpath 打印一下classpath, 看引用的conf目录是否为/e ...
分类：
其他好文 时间：
2019-12-21 20:15:41
阅读次数：
170
1主机名和IP配置1.1主机名1.首先使用root用户名和root密码分别登录三台服务器2.分别在三台虚拟机上执行命令:hostnamectlset-hostnamenode1hostnamectlset-hostnamenode2hostnamectlset-hostnamenode33.分别在三台服务器上执行logout1.2IP设置systemctlrestartnetwork2配置免密登录
分类：
其他好文 时间：
2019-12-21 15:49:29
阅读次数：
154
夜间多个任务同时并行，总有几个随机性有任务失败，查看日志： cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionException: java.io.IOException: R ...
分类：
编程语言 时间：
2019-12-21 13:26:05
阅读次数：
117
