启动hadoop -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式 ...
分类：
系统相关 时间：
2020-02-11 09:38:51
阅读次数：
116
Property列表链接：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 为什么会想着写这个？ 因为我在Deepin上配置Hadoop运行环境出了很多奇妙的问题，其中最恶心的就 ...
分类：
其他好文 时间：
2020-02-11 00:25:45
阅读次数：
71
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
一、安装hadoop 1、将文件解压到/usr/local [root@localhost src]# tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/ 2、配置环境变量 [root@localhost src]# vim /etc/profile 增加以下配 ...
分类：
其他好文 时间：
2020-02-10 13:55:50
阅读次数：
75
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
在安装完hive之后（hadoop-2.10.0安装hive-2.3.6），已经迫不及待的想尝试一下hive的一些用法，我们最常用的就是直接输入hive回车，使用的是cli（Command Line Interface ）模式，下面介绍一下hive的使用以及一些常用的命令 1.首先查看hive帮助， ...
分类：
其他好文 时间：
2020-02-10 00:00:22
阅读次数：
99
摘要 通过实现MapReduce计算结果保存到MySql数据库过程，掌握多种方式保存计算结果的技术，加深了对MapReduce的理解； Api 文档地址：http://hadoop.apache.org/docs/current/api/index.html maven资源库：https://mvn ...
分类：
数据库 时间：
2020-02-09 23:58:39
阅读次数：
155
看反压 通常最后一个被压高的subTask的下游就是job的瓶颈之一 看checkpoint时长 checkpoint时长能在一定程度影响job的整体吞吐 看核心指标 延迟和吞吐是最重要的指标 资源使用率 提高资源利用率是最终目的。排查首先看GC 常见性能问题 JSON序列化和反序列化 MAP和Se ...
分类：
其他好文 时间：
2020-02-09 11:43:28
阅读次数：
80
1131 cd /apps/hadoop/hdfs/namenode/ 1132 rm -rf current in_use.lock 1133 cd /apps/hadoop/hdfs/data/ 1134 rm -rf current in_use.lock 1135 cd /hadoop/hd ...
分类：
其他好文 时间：
2020-02-08 11:25:21
阅读次数：
80
公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h ...
分类：
其他好文 时间：
2020-02-08 00:22:59
阅读次数：
102
