码迷,mamicode.com
首页 >  
搜索关键字:hdfs    ( 4927个结果
记一次HDFS配置被覆盖的修复步骤
这个事情的背景是公司的Hadoop生态集群都是原生的,不是基于CDH的,所以基本所有的东西都需要自己手动管理,比如集群修改一些属性,然后批量分发重启或者动态生效之类的。这次也算不上事故,因为没对生产环境造成什么影响,但是差一点就变成事故,写出来分享一下。 事情简单概括就是,60+台hadoop的集群 ...
分类:其他好文   时间:2020-07-14 13:10:45    阅读次数:12
Spark学习(二)win10部署Hadoop+Spark
1.Hadoop (1)安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考: https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了,交换一下就行】 http: ...
分类:Windows程序   时间:2020-07-14 10:32:49    阅读次数:15
Hive入门
Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:其他好文   时间:2020-07-13 12:07:13    阅读次数:12
大数据学习2(MapReduce)
一,执行流程 由图我们可以看到, MapReduce存在以下4个独立的实体。 JobClient:运行于client node,负责将MapReduce程序打成Jar包存储到HDFS,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。 JobTracker:运 ...
分类:其他好文   时间:2020-07-12 22:18:50    阅读次数:23
解决HDFS上小文件的存储
从源头上解决,在上传到HDFS之前,就将多个小文件归档 使用tar命令 带上参数-zcvf 示例: tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了,可以使用在线归档 使用hadoop archive命令 示例: hadoop archive -archiveNa ...
分类:其他好文   时间:2020-07-11 17:00:14    阅读次数:15
Hive
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:其他好文   时间:2020-07-10 19:33:44    阅读次数:11
flume日志收集
1、flume日志收集架构如下 2、解压安装包,修改文件夹名称,配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类:Web程序   时间:2020-07-10 18:37:36    阅读次数:13
【HDFS篇11】HA高可用
先达到极限,然后再突破它 HA高可用 HA概述 所谓HA(High Available),即高可用(7*24小时不中断服务)。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在 ...
分类:其他好文   时间:2020-07-10 17:23:12    阅读次数:20
spark rdd--分区理解
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类:其他好文   时间:2020-07-07 13:11:09    阅读次数:11
第一章:Hadoop基础介绍
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:其他好文   时间:2020-07-06 15:47:59    阅读次数:14
4927条   1 2 3 4 ... 493 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!