1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
【 前情提要 】最近在gayhub上面得到一个开源项目，遂准备研究一下源码，当然第一步就是要把项目运行起来。然后看了一下技术栈，发现包管理工具是使用yarn，以前也听说过yarn但是也没有具体使用过，只知道是facebook发布的包管理程序。 壹、安装 1.下载node.js，使用npm安装 2.安 ...
分类：
其他好文 时间：
2019-08-11 11:04:34
阅读次数：
83
【**前情提要**】最近在gayhub上面得到一个开源项目，遂准备研究一下源码，当然第一步就是要把项目运行起来。然后看了一下技术栈，发现包管理工具是使用yarn，以前也听说过yarn但是也没有具体使用过，只知道是facebook发布的包管理程序。 # 壹、安装 1.下载node.js，使用npm安装 ...
分类：
其他好文 时间：
2019-08-11 00:27:10
阅读次数：
82
自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了Hive on Spark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在学校服务器上部署的Hadoop版本是3.1.2，现打算将自己的从 ...
分类：
其他好文 时间：
2019-08-09 23:24:41
阅读次数：
140
一、问题描述 日志文件信息如下： 二、解决办法一 i. 删除 yarn-nm-state 目录的所有文件再次启动 ii. 再次启动 NodeManager 组件 我这里使用的是 Ambari 来管理的，直接就Web界面操作，也可以使用命令操作启动。 iii. 查看是否启动成功，已启动成功 三、解决办 ...
分类：
其他好文 时间：
2019-08-08 13:32:07
阅读次数：
86
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2019-08-07 19:07:50
阅读次数：
85
本次学习如何从零开始搭建一个react官方提供的脚手架并添加less配置项以及如何处理在搭建过程中出现的bug 在此过程中默认使用yarn工具， 使用官方提供的命令：（此过程可能会因为个人网速不同，创建的时间也会有所不一样） 如图所示我们已经创建了一个基本的脚手架，但是由于在项目中我们会安装less ...
分类：
移动开发 时间：
2019-08-07 15:57:31
阅读次数：
168
webpack第9天 今天目标： 能够安装webpack 能够配置打包模式、入口和出口文件 能够编译index.html模板页面 能够配置实时打包功能 能够安装配置使用css相关loader 能够安装配置使用less相关loader 能够安装配置使用img相关loader 能够安装配置使用babel ...
分类：
Web程序 时间：
2019-08-01 17:27:03
阅读次数：
139
