namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。 ...
分类：
系统相关 时间：
2019-08-30 17:10:45
阅读次数：
112
Debian系统配置 我这里在Vmware里面虚拟4个Debian系统，一个master，三个solver。hostname分别是 master、solver1、solver2、solver3 。对了，下面的JDK和hadoop安装配置操作都是使用 hadoop用户权限 来执行，并非root权限。 ...
分类：
其他好文 时间：
2019-08-25 21:40:52
阅读次数：
182
Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等； ...
分类：
其他好文 时间：
2019-08-20 10:40:13
阅读次数：
119
公司的hadoop集群是之前的同事搭建的，我(小白一个)在spark shell中读取hdfs上的文件时，执行以下指令 >>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt") >>> word.first() 报错：jav ...
分类：
编程语言 时间：
2019-08-15 11:00:54
阅读次数：
242
HDFS概述 HDFS组成架构 HDFS文件块大小 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 3．常用命令实操 （0）启动Hadoop集群（方便后续的测试） （1）-hel ...
分类：
系统相关 时间：
2019-08-15 05:54:32
阅读次数：
117
首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三 ...
分类：
其他好文 时间：
2019-08-13 00:53:23
阅读次数：
203
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2019-08-07 19:07:50
阅读次数：
85
准备三台虚拟机，ip分别为192.168.220.10（master）、192.168.220.11（slave1）、192.168.220.12（slave2） 准备好jdk-6u45-linux-x64.bin和hadoop-1.2.1-bin.tar.gz，放在/usr/local/src/目 ...
分类：
其他好文 时间：
2019-08-04 16:47:04
阅读次数：
111
**计算机性能：**横向扩展集群：人多力量大负载均衡集群高可用集群高性能集群（应用层）--hadoop集群=Mapreduces+HDFS（x）纵向扩展应用迁移【Linux下，一切皆文件】**1.系统的启动**电源BIOS芯片--|1.加电自检检查硬件设备是否正常||2.*启动系统*--选择系统启动-----|a.系统所在位置的读取顺序问题(BIOS)：硬盘网络(PXE)U盘CD/DVD...||
分类：
系统相关 时间：
2019-08-01 22:42:11
阅读次数：
151
一.计算机性能：1.横向扩展集群：人多力量大a.负载均衡集群b.高可用集群c.高性能集群（应用层）---Hadoop集群=mapreduces+HDFS2.纵向扩展应用迁移{Linux系统下，一切皆文件}二.系统的启动：----1.电源----2.BIOS芯片（程序）【第一个工作：加电自检，检查硬件设备是否正常.第二个工作：启动系统（1.选择系统启动（a.系统所在位置的读取顺序问题(BIOS)：硬
分类：
系统相关 时间：
2019-08-01 22:37:18
阅读次数：
133
