https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html 文章对性能优化的思路，如果评测性能，找到性能瓶颈，优化，优化效果评估，上线部署给出了很好的教科书式的案例 ...
分类：
其他好文 时间：
2019-12-07 19:36:55
阅读次数：
107
1 系统变量 1. 常用系统变量 $HOME、$PWD、$SHELL、$USER等 2．案例实操 （1）查看系统变量的值 [atguigu@hadoop101 datas]$ echo $HOME /home/atguigu （2）显示当前Shell中所有变量：set [atguigu@hadoop ...
分类：
系统相关 时间：
2019-12-07 14:35:12
阅读次数：
92
1．脚本格式 脚本以#!/bin/bash开头（指定解析器） 2．第一个Shell脚本：helloworld （1）需求：创建一个Shell脚本，输出helloworld （2）案例实操： [atguigu@hadoop101 datas]$ touch helloworld.sh [atguigu ...
分类：
系统相关 时间：
2019-12-07 14:23:35
阅读次数：
74
master操作： [admin@master ~]$ start-all.sh [admin@master ~]$ jps [admin@master ~]$ hadoop fs -mkdir /input [admin@master ~]$ cd hadoop-3.0.0/[admin@mast ...
分类：
其他好文 时间：
2019-12-06 19:32:59
阅读次数：
92
准备 1、hadoop集群已安装，这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4，所以是同样的三台机器，其规划如下： 2、官网下载安装包：hbase-1.4.12-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 3、hbase将部署在三台都已存在的路径/myd ...
分类：
其他好文 时间：
2019-12-06 19:29:47
阅读次数：
95
准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7 ...
分类：
其他好文 时间：
2019-12-06 13:44:30
阅读次数：
145
Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk ...
分类：
其他好文 时间：
2019-12-06 00:03:53
阅读次数：
99
在hadoop中安装jdk软件以后出现如下问题： 错误描述 [xxx@localhost jdk1.8.0_181]$ ./bin/jps Exception in thread "main" java.lang.NullPointerException at sun.jvmstat.perfdat ...
分类：
其他好文 时间：
2019-12-04 19:47:07
阅读次数：
125
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive） 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED ...
分类：
其他好文 时间：
2019-12-04 10:35:57
阅读次数：
88
（1）列出HDFS下的文件 hadoop dfs -ls <目录> （2）上传文件 将Linux系统本地文件上传到HDFS中 hadoop dfs -put <本地文件> <HDFS文件> （3）下载文件 将HDFS 中的文件下载到Linux系统本地目录 hadoop dfs -get <HDFS文 ...
分类：
其他好文 时间：
2019-12-03 21:45:49
阅读次数：
82
