码迷,mamicode.com
首页 >  
搜索关键字:hadoop分布式    ( 360个结果
Spark入门
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spark为我们提供 ...
分类:其他好文   时间:2018-09-28 17:34:32    阅读次数:164
hadoop集群部署
一、Hadoop框架简介Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem),称为Hadoop分布式文件系统,主要特点:HDFS最小以64MB的数据块存储文件,相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
分类:其他好文   时间:2018-09-17 14:08:20    阅读次数:181
Hadoop分布式环境搭建
作者:gqk: 使用多个服务器访问hadoop的各个进程; Hadoop分布式环境搭建准备工作: 克隆三个虚拟机: 机器规划: 更改两个机器的MAC的地址 更改网卡并配置: 1)修改网卡:克隆的机子网卡默认为eth1 改为eth0,,MAC改为本机的 vim /etc/udev/rules.d/70 ...
分类:其他好文   时间:2018-09-06 19:59:30    阅读次数:217
大数据与Hadoop
大数据是做什么的 ? 大数据– 随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断 的加快,随着互联网、物联网建设的加快,信息更是爆炸是增长,收集、检索、统计这些信息越发困难, 必须使用新的技术来解决这些问题 ? 大数据的定义:1、 大数据由巨型数据集组成, ...
分类:其他好文   时间:2018-09-05 17:39:22    阅读次数:603
Hadoop 2.7.3 分布式集群安装
1. 集群规划:192.167.1.252 palo252 Namenode+Datanode192.167.1.253 palo253 YarnManager+Datanode+SecondaryNameNode192.167.1.254 palo254 Datanode 2. 设定固定IP地址v ...
分类:其他好文   时间:2018-09-02 21:50:57    阅读次数:160
HDFS分布式文件系统
### HDFS分布式文件系统 1. 分布式存储 2. 分布式计算 ### 2、hadoop hadoop含有四个模块,分别是 common、 hdfs和yarn。 1. common 公共模块。 2. HDFS hadoop distributed file system,hadoop分布式文件系... ...
分类:其他好文   时间:2018-08-27 21:29:28    阅读次数:257
对Hadoop分布式文件系统HDFS的操作实践
原文地址:https://dblab.xmu.edu.cn/blog/290-2/ Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。 在学习HDF ...
分类:其他好文   时间:2018-08-24 22:57:21    阅读次数:742
hdfs知识点《转》
HDFS知识点总结 学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网 ...
分类:其他好文   时间:2018-08-10 10:55:48    阅读次数:154
Hadoop HDFS
Hadoop主要有两个层次,即: 加工/计算层(MapReduce),以及 存储层(Hadoop分布式文件系统,即HDFS)。 Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统,HDFS是高度容错以及使用低成本的硬件设计。 HDFS拥有超大型的数据量,并提供更 ...
分类:其他好文   时间:2018-08-02 20:42:36    阅读次数:111
大数据离线(三)
HDFS HDFS基本概念 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统,分布式文件系统解决的问题就是数据存储。 HDFS设计目标 1. HDFS 将有成百上千的服务器组成硬件故障是常态,因此故障的检测和自动快速 ...
分类:其他好文   时间:2018-08-01 18:27:24    阅读次数:157
360条   上一页 1 ... 5 6 7 8 9 ... 36 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!