原文链接：https://blog.csdn.net/u012834750/article/details/80508464 前言 每次在使用Docker启动Hadoop集群的时候，都需要重新绑定下网卡，固定IP，同时修改/etc/hosts文件，非常麻烦，于是想探寻下原因及优化。一、原因/etc/ ...
分类：
其他好文 时间：
2019-12-23 00:55:14
阅读次数：
344
4.1概述 1. HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。 2. HBase与传统数据库的区别 数据类型上的区别，它把数据存储为未经解释的字符串 数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单 ...
分类：
数据库 时间：
2019-12-23 00:30:13
阅读次数：
151
关系型数据库与非关系型数据库关系型数据库：一个机构化的数据库，创建在关系模型基础上，一般面向于记录包括oracle、mysql、sqlserver、db2非关系型数据库：除了主流的关系型数据库意外的数据库，都人为是非关系型的包括redis、mongdb、hbase、couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类：
数据库 时间：
2019-12-22 22:50:27
阅读次数：
125
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
[TOC] 在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全 ...
分类：
其他好文 时间：
2019-12-22 14:59:00
阅读次数：
113
第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示。 1.2 大数据特点（4V） 大数据特点如图2-2，2-3，2-4，2-5所示 1.3 大数据应用场景 大数据应用场景如图2-6，2-7，2-8，2-9，2-10，2-11所示 1.4 大数据发展前景 大数据发展前景如图2-12，2 ...
分类：
其他好文 时间：
2019-12-22 00:26:39
阅读次数：
82
Flume和 Sqoop Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat ...
分类：
Web程序 时间：
2019-12-21 22:39:42
阅读次数：
187
EMR目录： 配置文件目录:/etc/ecm/hadoop-conf#看gateway机器配置是否同步,直接看配置文件,如:/etc/ecm/hadoop-conf/core-site.xml 然后输入命令hadoop classpath 打印一下classpath, 看引用的conf目录是否为/e ...
分类：
其他好文 时间：
2019-12-21 20:15:41
阅读次数：
170
1主机名和IP配置1.1主机名1.首先使用root用户名和root密码分别登录三台服务器2.分别在三台虚拟机上执行命令:hostnamectlset-hostnamenode1hostnamectlset-hostnamenode2hostnamectlset-hostnamenode33.分别在三台服务器上执行logout1.2IP设置systemctlrestartnetwork2配置免密登录
分类：
其他好文 时间：
2019-12-21 15:49:29
阅读次数：
154
夜间多个任务同时并行，总有几个随机性有任务失败，查看日志： cat -n ads_channel.log |grep "Caused by" 7732 Caused by: java.util.concurrent.ExecutionException: java.io.IOException: R ...
分类：
编程语言 时间：
2019-12-21 13:26:05
阅读次数：
117
