1.hadoop对hdfs集群的管理提供两种脚本 hadoop-daemons.sh 本地启动脚本：对集群中的单个节点操作 start-dfs.sh 集群启动脚本：对集群中所有节点统一操作 2.SSH免密登录（防止集群登录超时） ①生成公私钥 1 ssh-keygen -t rsa 在用户目录下有个 ...
分类：
其他好文 时间：
2020-04-15 13:41:34
阅读次数：
66
ZooKeeper是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 ZooKeeper是一个树形结构的目录服务，支持变更推送 在ZooKeeper中，节点分为两 ...
分类：
编程语言 时间：
2020-04-15 13:38:24
阅读次数：
150
1、创建helloword.txt输入3行内容。 2、在系统中打开hadoop start-dfs.sh start-yarn.sh 3、把本地计算机中的计算机中的helloword.txt上传到服务器中 4、创建目录/user/root/filetest hdfs dfs -mkdir p /us ...
分类：
Web程序 时间：
2020-04-14 22:59:30
阅读次数：
100
前言：因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传，而自己对java文件上传这一块未接触过，且对 Http 协议较模糊，故这次采用渐进的方式来学习文件上传的原理与实践。该博客重在实践。 一. Http协议原理简介 HTTP是一个属于应用层的面向对象的协议，由于其简捷、 ...
分类：
Web程序 时间：
2020-04-13 15:27:48
阅读次数：
131
在我们的工作中，很多时候都需要在linux中后台运行程序，方法1：nohup&方法2：daemonizeUnix系统后台守护进程管理软件优点：更加正规后台运?更稳定gitclonegit://github.com/bmc/daemonize.gitshconfigure&&make&&sudomakeinstall[root@dev-hadoop-test0
分类：
系统相关 时间：
2020-04-13 00:49:22
阅读次数：
195
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
转 :https://www.cnblogs.com/firstsheng618/p/9022879.html MapReduce是一种分布式计算模型，是Hadoop的主要组成之一，承担大批量数据的计算功能。MapReduce分为两个阶段：Map和Reduce。 一、MapReduce的架构演变 客 ...
分类：
其他好文 时间：
2020-04-12 10:29:00
阅读次数：
51
查找文件： [root@bigdata admin]# find . -type f -name "a.txt" ./Downloads/hadoop-2.10.0/a.txt 拥有遍历文件夹功能的 查找关键字 文件、文件夹： [root@bigdata admin]# vi a [root@big ...
分类：
系统相关 时间：
2020-04-11 20:26:04
阅读次数：
98
Eclipse连接不上虚拟机上的hdfs，一直显示Listing folder content，如下图所示： 要做到以下三点： 1. 本身就还没创建输入和输出目录，此时要在hdfs上建个文件夹 。 #bin/hdfs dfs -mkdir –p /user/hadoop/input #bin/hdf ...
