Failed redirect for xxxxxxxxxxx Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown cont ...
分类：
其他好文 时间：
2020-06-06 13:18:10
阅读次数：
96
原因 hadoop.dll 版本问题 解决 查询远程主机中hadoop版本，下载相同或稍高版本的hadoop.dll，将下载的 hadoop.dll 复制到windows系统的c:/window/system32/下 参考 https://blog.csdn.net/Constantdropping ...
分类：
编程语言 时间：
2020-06-06 09:25:40
阅读次数：
69
1、修改配置文件后重启hdfs集群，出现了两个namenode都是standby的问题。 经过不断地排查，发现在自己进行关闭和重启namenode的组件的时候，没有通过pip文件正常关闭，只能挨个关闭，这个也不是重点。 经过修改pip文件的路径，解决了这个批量关闭启动的问题，原因是/tmpe目录系统 ...
分类：
数据库 时间：
2020-06-05 13:12:31
阅读次数：
111
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt安装对应软件（必须联网）安装openssl-develyum-yinst
分类：
其他好文 时间：
2020-06-04 00:52:14
阅读次数：
51
挑战常规 -- 这位老板你是不是搞错了什么 我们是互联网起家的 你懂不懂jvm优化 你懂不懂MySQL调优 你懂不懂分布式锁 冒泡算法写一下 Hadoop原理是什么,.... 那，请问你们的当前客户量是多少？上线了没有？开发团队有多少人？原型设计有没有？ 我们已经上线了一个版本，正在内部测试。我们希 ...
分类：
其他好文 时间：
2020-06-03 13:45:20
阅读次数：
50
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本 ...
分类：
其他好文 时间：
2020-06-03 13:23:45
阅读次数：
63
Hadoop fs 命令分类： 1、本地-》HDFS： put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro ...
分类：
系统相关 时间：
2020-06-02 22:55:20
阅读次数：
78
一、HDFS优缺点 优点： 高容错性 数据自动保存多个副本 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模，可以达到PB级 文件规模，能够处理百万规模的文件数量 可构建在廉价机器上，通过多副本保证可靠性 缺点： 不适合低延时数据访问 不适合对大量小文件进行存储 存储大量小文件，他会占用N ...
分类：
其他好文 时间：
2020-06-01 23:45:55
阅读次数：
68
1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb ...
分类：
其他好文 时间：
2020-06-01 13:34:08
阅读次数：
62
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
