码迷,mamicode.com
首页 >  
搜索关键字:flume 日志收集 hdfs    ( 6285个结果
Hive
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:其他好文   时间:2020-07-10 19:33:44    阅读次数:77
flume日志收集
1、flume日志收集架构如下 2、解压安装包,修改文件夹名称,配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类:Web程序   时间:2020-07-10 18:37:36    阅读次数:66
【HDFS篇11】HA高可用
先达到极限,然后再突破它 HA高可用 HA概述 所谓HA(High Available),即高可用(7*24小时不中断服务)。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在 ...
分类:其他好文   时间:2020-07-10 17:23:12    阅读次数:61
flume 数据链路问题排查
技巧 1、查看flume的metrics,确定每个flume节点数据是否被接收以及发送: {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)"Type":"SOURCE","A ...
分类:Web程序   时间:2020-07-08 15:23:06    阅读次数:101
大数据面试题
Linux部分 ①列举你使用的常用指令? ②怎么查看服务是否开启?后面的参数都是什么意思? ③怎么查看服务器内存使用情况? ④日志查看指令? ⑤跨机房怎么传输文件? Hadoop部分 ①怎么搭建一个Hadoop集群? ②Hadoop的Shuffer机制? ③切片概念?文件256M时,几个切片? ④M ...
分类:其他好文   时间:2020-07-08 13:03:03    阅读次数:59
Flume对接Kafka
一.简单实现 需求:根据 flume 监控 exec 文件的追加数据,写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1)flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类:Web程序   时间:2020-07-07 23:22:58    阅读次数:79
spark rdd--分区理解
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类:其他好文   时间:2020-07-07 13:11:09    阅读次数:164
ucenter apm debug 日志收集
C:\ProgramFiles\iMC\server\conf目录下打开qvdm.conf文件,修改其中字段#settingloglevel(DEBUG,INFO,WARNING,ERROR,FATAL)LogLevel=INFO//该处将INFO修改为DEBUG,重启imcapmedm.exe进程,收集完日志,再改回INFO,并重启进程。#settinglogexpire(itsunitisda
分类:其他好文   时间:2020-07-06 18:13:22    阅读次数:75
第一章:Hadoop基础介绍
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:其他好文   时间:2020-07-06 15:47:59    阅读次数:67
MapReduce运行原理和过程
一.Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源。文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片,即Split(分片,逻辑划分,不包含具体数据,只包含这些数据的位置信息),那么上图中 ...
分类:其他好文   时间:2020-07-06 14:25:24    阅读次数:60
6285条   上一页 1 ... 19 20 21 22 23 ... 629 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!