简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput
分类：
其他好文 时间：
2020-06-06 23:16:21
阅读次数：
84
Failed redirect for xxxxxxxxxxx Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown cont ...
分类：
其他好文 时间：
2020-06-06 13:18:10
阅读次数：
96
原因 hadoop.dll 版本问题 解决 查询远程主机中hadoop版本，下载相同或稍高版本的hadoop.dll，将下载的 hadoop.dll 复制到windows系统的c:/window/system32/下 参考 https://blog.csdn.net/Constantdropping ...
分类：
编程语言 时间：
2020-06-06 09:25:40
阅读次数：
69
1、修改配置文件后重启hdfs集群，出现了两个namenode都是standby的问题。 经过不断地排查，发现在自己进行关闭和重启namenode的组件的时候，没有通过pip文件正常关闭，只能挨个关闭，这个也不是重点。 经过修改pip文件的路径，解决了这个批量关闭启动的问题，原因是/tmpe目录系统 ...
分类：
数据库 时间：
2020-06-05 13:12:31
阅读次数：
111
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt安装对应软件（必须联网）安装openssl-develyum-yinst
分类：
其他好文 时间：
2020-06-04 00:52:14
阅读次数：
51
挑战常规 -- 这位老板你是不是搞错了什么 我们是互联网起家的 你懂不懂jvm优化 你懂不懂MySQL调优 你懂不懂分布式锁 冒泡算法写一下 Hadoop原理是什么,.... 那，请问你们的当前客户量是多少？上线了没有？开发团队有多少人？原型设计有没有？ 我们已经上线了一个版本，正在内部测试。我们希 ...
分类：
其他好文 时间：
2020-06-03 13:45:20
阅读次数：
50
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本 ...
分类：
其他好文 时间：
2020-06-03 13:23:45
阅读次数：
63
Hadoop fs 命令分类： 1、本地-》HDFS： put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro ...
分类：
系统相关 时间：
2020-06-02 22:55:20
阅读次数：
78
一、HDFS优缺点 优点： 高容错性 数据自动保存多个副本 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模，可以达到PB级 文件规模，能够处理百万规模的文件数量 可构建在廉价机器上，通过多副本保证可靠性 缺点： 不适合低延时数据访问 不适合对大量小文件进行存储 存储大量小文件，他会占用N ...
分类：
其他好文 时间：
2020-06-01 23:45:55
阅读次数：
68
1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb ...
分类：
其他好文 时间：
2020-06-01 13:34:08
阅读次数：
62
