码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
从源码分析如何优雅的使用 Kafka 生产者
前言 在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢? 正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。 内容较多,对源码感兴趣的朋友请系好安全带??(源码基于 v0.10.0.0 版本分析)。同时最好是有一定的 Kafka 使用经验,知晓基本的用法。 简单的消 ...
分类:其他好文   时间:2020-02-07 12:40:43    阅读次数:62
SIX Spark Streaming 编程初级实践
Flume 官网下载 Flume1.7.0 安装文件,下载地址如下: http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后,把 Flume1.7.0 安装到 Linux 系统的“/usr/ ...
分类:其他好文   时间:2020-02-06 20:19:45    阅读次数:95
HBase学习二
本次记录是用于:SparkStreaming对接Kafka、HBase记录 一、简介 ①HBase本身是一个菲关系型数据库,存储数据结构时以key-value结构来进行存储,HBase中的数据是稀疏的。 ②基于Hadoop运行,但是HBase的效率在秒级别 ③基于列存储:传统行存储方式在查询特定列时 ...
分类:其他好文   时间:2020-02-06 16:53:41    阅读次数:101
2020年寒假学习进度第六天
今天主要进行了spark实验六的学习,Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统,可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型,从终端上不断给 Flume Source 发送各种消息,Flu ...
分类:其他好文   时间:2020-02-06 14:42:22    阅读次数:107
【2020/2/5】寒假自学——学习进度报告12
今天主要完成了北京市政百姓信件分析实战。 Spark方面只是安装了Flume,以及尝试使用套接字流作为DSteam的数据源。 启动NetCat作为套接字的监听模式,这样在端口9999就能和spark互联。 值得一提,nc -l 9999 虽然也是适用的,-k是为了可以保持多个连接,所以应该还是必要的 ...
分类:其他好文   时间:2020-02-05 23:29:47    阅读次数:86
写给程序员儿子的一封信
亲爱的儿子: 当你打开这封信的时候,我已经离开波士顿回到加州了,你也已经结束自己最后一个暑假,去往自己非常喜欢的公司。 虽然你我都是程序员,但是你却很少向我咨询过技术相关的问题,咱们上一次一起写代码,也是你高考结束那个暑假了。不过前几天你问了我一个问题,你说,如果让你写一封信,跟当初刚刚成为程序员的 ...
分类:其他好文   时间:2020-02-05 23:12:10    阅读次数:98
寒假第十一天
今天完成了实验六 安装了Flume,Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 2. 使用 Avro 数据 ...
分类:其他好文   时间:2020-02-05 23:06:48    阅读次数:83
如何扩展Kafka的broker
背景:因为公司收集终端盒子数据的kafka服务偶尔会倒,所以考虑使用kafka的分布式,增加broker节点,来提高系统的可用性。当然,zookeeper服务节点也是可以增加的,但不在本文范围内。 具体步骤如下: 1. 新加kafka服务,并启动 如果是同一服务器,则可以拷贝新建server.pro ...
分类:其他好文   时间:2020-02-05 09:33:24    阅读次数:108
Kafka系列1:Kafka概况
Kafka系列1:Kafka概况 Kafka是当前分布式系统中最流行的消息中间件之一,凭借着其高吞吐量的设计,在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容: Kafka简介 Kafka特点 Kafka基本概念 Kafka架构 Kafka的 ...
分类:其他好文   时间:2020-02-04 23:18:57    阅读次数:78
【Kafka 源码解读】之 【代码没报错但是消息却发送失败!】
聊聊最近,2020年,在2019年的年尾时,大家可谓对这年充满新希望,特别是有20200202这一天。可是澳洲长达几个月的大火,新型冠状病毒nCoV的发现,科比的去世等等事情,让大家感到相当的无奈,生命是如此的脆弱,明天又是如此的未知。但是人应当活在当下,勇敢的面对疫情,和大家和政府一起打赢这场没硝 ...
分类:其他好文   时间:2020-02-04 18:32:01    阅读次数:65
5097条   上一页 1 ... 75 76 77 78 79 ... 510 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!