运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
HDFS客户端环境准备 1．根据拷贝编译后的hadoop jar包到非中文路径 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类：
其他好文 时间：
2021-06-06 19:12:37
阅读次数：
0
window下安装： 1.到官网上下载mysql(zip包) 》①mysql的bin目录下新建my.ini文件，配置参考如下： 》②path中配置好环境变量 》③以管理员身份运行mysql服务 mysql --install 安装服务，控制台会提示：Service successfully inst ...
分类：
数据库 时间：
2021-06-06 18:54:05
阅读次数：
0
Linux 平台上安装 Git 的工作需要调用 curl，zlib，openssl，expat，libiconv 等库的代码，所以需要先安装这些依赖工具。 在有 yum 的系统上（比如 Fedora）或者有 apt-get 的系统上（比如 Debian 体系），可以用下面的命令安装： 各 Linux ...
分类：
其他好文 时间：
2021-06-03 18:28:05
阅读次数：
0
1.创建目录：/gitbook/gitbook 和 /gitbook/html 2. /gitbook/gitbook目录下，touch新建README.md SUMMARY.md 3. docker安装gitbook 4.docker进入gitbook，进行初始化 5.每次改动md源文件后，都要重 ...
分类：
其他好文 时间：
2021-06-03 18:06:56
阅读次数：
0
交叉编译器的安装和使用 环境Ubuntu 20.04 LTS 前面教程提到了交叉编译器，忘了写具体的安装和配置方式，在这里补充一下 gcc编译器编译的程序只能在x86环境下运行，而不能在arm上运行 gcc运行方式 直接写一个程序hello.c然后输入命令 sudo gcc hello.c #编译器 ...
分类：
其他好文 时间：
2021-06-02 19:53:24
阅读次数：
0
@ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信（Inter-Process Communication, IPC）逻辑，是所有分布式系统的基础。远程过程调用（Remote Procedure Call, RPC）是一种常用的分 ...
分类：
其他好文 时间：
2021-06-02 19:49:37
阅读次数：
0
@ 前言-MR概述 MapReduce是一个分布式计算框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成：编程模型和运行时环 境。其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如 ...
分类：
其他好文 时间：
2021-06-02 19:46:24
阅读次数：
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
