1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
关键词：oauth、第三方登录 关键词：oauth、第三方登录 1、是什么？ oauth认证就是一种授权认证机制。 简单分析：用户告诉系统，同意授权第三方应用（eg：本地服务器）进入系统（eg：qq/微信），获取这些数据，系统从而产生一个短期的进入令牌（token），用来代替密码，供第三方应用使用， ...
分类：
其他好文 时间：
2019-11-01 12:44:16
阅读次数：
144
SparkStreaming SparkStreaming是一种微批处理，准实时的流式框架。数据来源包括：Kafka， Flume，TCP sockets，Twitter，ZeroMQ等 SparkStreaming与storm的区别： SparkStreaming微批处理数据，storm按条处理数 ...
分类：
其他好文 时间：
2019-11-01 09:47:37
阅读次数：
132
inet_csk_accept函数实现了tcp协议accept操作，其主要完成的功能是，从已经完成三次握手的队列中取控制块，如果没有已经完成的连接，则需要根据阻塞标记来来区分对待，若非阻塞则直接返回，若阻塞则需要在一定时间范围内阻塞等待； 如果请求队列中没有已完成握手的连接，并且套接字已经设置了阻塞 ...
分类：
其他好文 时间：
2019-10-28 10:31:33
阅读次数：
86
二叉树中序遍历 递归实现： 非递归实现。 分析： 1，使用堆栈作为存储结构 2, 当节点不为空或者堆栈,每次根据给定节点对其左子树进行入栈。 3,出栈，并且保存节点值，然后将右节点赋给当前节点（不用判断是否为空，若为空，刚好不用进行左节点遍历的步骤） ...
分类：
其他好文 时间：
2019-10-28 01:17:25
阅读次数：
86
对于flume的增量抽取，首先想到的就是常用的那几种方法，监控日志，触发器，版本号，时间戳等等，虽然可以实现，但都对数据源有了一定限制，假如客户的系统内部表没有那些东西，这就是一件很难搞的事了，毕竟对方数据库不能随便动。 这个时候可以采用 $@$，它可以表示增量列上一次查询的值。，将它加入sql语句 ...
分类：
Web程序 时间：
2019-10-25 18:28:04
阅读次数：
272
Flume配置文件： 但是在启动Flume时，报以下错误： 解决方案： 由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型，需要把spark streaming flume sink_2.11 2.4.3.jar复制到 ...
分类：
Web程序 时间：
2019-10-16 13:43:59
阅读次数：
98
第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送 ...
分类：
Web程序 时间：
2019-10-13 21:05:20
阅读次数：
155
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf 将 flume-conf.properties.template 重新命名为 hdfs.properties # 组装 agenta1.sources = s1a1. ...
分类：
Web程序 时间：
2019-10-12 11:26:24
阅读次数：
252
1、前言 从druid的0.11版本开始，我就开始关注它，每一次的版本的更新，druid都会使用户体验、性能更好，从以前手写配置文件到可视化的界面操作，从实时节点进行任务提交到现在的索引服务等 流处理： 日志监控（Flume/Airflow） > 消息中间件（kafka、MQ） > 流处理（spar ...
分类：
Web程序 时间：
2019-10-11 18:03:32
阅读次数：
122
