package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类：
数据库 时间：
2020-06-24 16:23:50
阅读次数：
132
Kafka-文件管理 文件管理 保留数据是kafka的一个基本特性，kafaka不会一直保留数据，也不会等到所有消费者都读取了消息之后才删除消息。相反，kafka为每个主题配置了数据保留期限，规定数据被删除之前可以保留多长时间，或者清理数据之前可以保留的数据量大小。 因为在一个大文件里查找和删除消息 ...
分类：
其他好文 时间：
2020-06-24 00:44:34
阅读次数：
76
一、消息队列概述 消息队列（MessageQueue，简称为MQ）其本质是就是个队列，FIFO先进先出，只不过是队列中储放的主要内容是message，因而叫消息队列主要用于：不同的服务server、进程process、线程thread相互间通信二、选用消息队列的场景①异步处理②流量控制③服务解耦④发 ...
分类：
系统相关 时间：
2020-06-24 00:34:13
阅读次数：
122
RabbitMQ 是一款优秀的消息中间件。相比于 kafka 更好上手，相比于 ActiveMQ 拥有更好的性能。 RabbitMQ 支持单机部署，集群部署。 集群部署有包括 ： 普通模式（多节点集群）、镜像集群。 节点分为 ： 磁盘节点（disc） 和 内存节点 (RAM)。 镜像集群其实也是 镜 ...
分类：
其他好文 时间：
2020-06-24 00:25:28
阅读次数：
55
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， ...
分类：
其他好文 时间：
2020-06-23 22:53:00
阅读次数：
73
舆情爬虫分析：硬件: 4台服务器,分别放redis、python爬虫、mysql和 kafka四大板块。软件:1. mysql2. redis #leap1 /usr/bin/redis-cli /usr/bin/redis-server redis 3.1.103 64 bit 3. python ...
分类：
编程语言 时间：
2020-06-23 17:22:37
阅读次数：
57
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
采集数据到HDFS 安装flume在虚拟机hdp-1中, 打开SFTP-hdp-1窗口,将fllume压缩包导入到虚拟机hdp-1的/root/目录中. 解压flume压缩包到/root/apps/下,命令: tar -xvzf apache-flume-1.6.0-bin.tar.gz -C ap ...
分类：
其他好文 时间：
2020-06-23 13:03:55
阅读次数：
59
第四天kafka知识 Producer基础的案例 1 Producer的小案例 电商系统，会员，凡是能登录的人都是会员。 你消费了多少钱，那么就给给你累计多少积分。 比如，你消费了1000块钱，那么同时给你找个会员号1000积分 1.1 在kafka里面，我们发送消息的时候，可以给消息指定key，也 ...
分类：
其他好文 时间：
2020-06-23 01:14:29
阅读次数：
76
