第4章 Hadoop运行模式4.1 本地运行模式4.1.1 官方Grep案例4.1.2 官方WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 启动YARN并运行MapReduce程序4.2.3 配置历史服务器4.2.4 配置日志的聚集4.2 ...
分类：
其他好文 时间：
2019-02-03 10:26:29
阅读次数：
284
maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.Input... ...
分类：
编程语言 时间：
2019-01-31 20:55:42
阅读次数：
136
先从网上copy一些优势点 1、高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。 2、适合批处理它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。 3、适合大数据处理处理数据达到 GB、T ...
分类：
其他好文 时间：
2019-01-31 13:04:52
阅读次数：
204
仅个人实践所得，若有不正确的地方，欢迎交流！ 一、起因 执行以下两条基本的HDFS命令时报错 这是正常的两条HDFS命令，怎么会报错了？然后就打开hdfs命令查看问题。 二、分析 1）利用以下命令找到hdfs命令所在路径 使用vim hdfs打开脚本，发现当以hdfs dfs 执行时，会利用到HAD ...
分类：
编程语言 时间：
2019-01-30 21:45:21
阅读次数：
399
Hadoop基本操作命令 #hadoop dfsadmin -report 查看hdfs集群的存储空间使用情况。 #hadoop fs -du -h 目录 查看当前目录下各个文件占得内存 #hadoop fs –rmr /tmp/aaa删除一个目录 #hadoop fs –put文件 hdfs文件目 ...
分类：
其他好文 时间：
2019-01-30 16:00:36
阅读次数：
180
HBase简介：分布式数据库是构建在HDFS上的分布式列存储数据库（Mysql，Oracle是行数据库），是一个高可靠性，高性能，面向列。可伸缩的分布式存储系统 列式存储允许用户存储海量的数据到相同表中，而在传统数据库中，海量数据需要被切分为多个表进行存储行键 不宜过长，否则会占用大量的存储空间降低 ...
分类：
其他好文 时间：
2019-01-28 16:10:18
阅读次数：
236
reference: http://dblab.xmu.edu.cn/blog/install-hbase/ we need to set hdfs dfs.replication=3 start hbase normal, we can find it in hdfs web page. ...
分类：
其他好文 时间：
2019-01-28 00:46:22
阅读次数：
212
#### 大数据课程第二天 HDFS配置集群的原理分析 ssh免密登陆 通过工具生成公私钥对 公钥发送远程主机 修改slave文件 HDFS的集群搭建 ssh免密登陆 清除mac地址的影响 设置网络 安装hadoop,jdk NameNode持久化[了解] 什么是NameNode的持久化 FSIma ...
分类：
其他好文 时间：
2019-01-26 18:01:48
阅读次数：
194
减容 1. 创建一个新的文件 位置 名字 随便host.exclusionhadoop22. 配置 hdfs-site.xmldfs.hosts.exclude 文件的位置 （不加 file://）<property> <name>dfs.hosts.exclude</name> <value>/o ...
分类：
其他好文 时间：
2019-01-26 17:59:10
阅读次数：
260
[toc] 1 HDFS概述 在大数据时代，大数据处理需要解决的首要问题是：如何高效地存储所产生的规模庞大的数据？由于传统集中式的物理服务器在存储容量和数据传输速度等方面都有限制，故而越来越不符合这些数据的实际存储需要。 所以为了实现对大数据的存储，就需要利用成百上千台甚至更多的分布式服务器节点（由 ...
分类：
其他好文 时间：
2019-01-25 21:03:56
阅读次数：
286
