业务场景：需求：通过flume进行数据采集，将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题：本地文件在生成的过程中，会出现文件名重复的现象。也就是说，在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改，默认情况下文件名会更改为aaa.cs... ...
分类：
Web程序 时间：
2020-01-23 09:14:02
阅读次数：
290
记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图，sourc ...
分类：
Web程序 时间：
2020-01-22 23:36:22
阅读次数：
130
转自于部门组内 需求调研 1、需求沟通 2、业务学习 3、技术、架构、数据特点了解 （1）系统架构：物理架构（硬件及部署策略）和逻辑架构（系统的功能与服务），包括中间件产品与配置、数据库配置等，供我们搭建测试环境时进行参考。 （2）业务流程：业务量和业务分布。采集业务（分析出哪些业务纳入性能测试范围 ...
分类：
其他好文 时间：
2020-01-22 16:29:55
阅读次数：
82
web表单是web应用程序的基本功能。 它是HTML页面中负责数据采集的部件。表单有三个部分组成：表单标签、表单域、表单按钮。表单允许用户输入数据，负责HTML页面数据采集，通过表单将用户输入的数据提交给服务器。 在Flask中，为了处理web表单，我们一般使用Flask-WTF扩展，它封装了WTF ...
分类：
Web程序 时间：
2020-01-21 21:36:34
阅读次数：
91
网络爬虫是什么？ 网络爬虫就是：请求网站并提取数据的自动化程序 网络爬虫能做什么？ 网络爬虫被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。 网络爬虫还被用于爬取各个网站的数据，进行分析、预测近几年来，大量的企业和个人开始使用网络 ...
分类：
编程语言 时间：
2020-01-20 15:12:56
阅读次数：
192
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
为什么我们放弃Zabbix采用Prometheus？ https://mp.weixin.qq.com/s/Ul5f4xcHvTShOF9smHHUjQ 闫晓宇 51CTO技术栈 1周前 “ 2017 年以前，我们运维体系的监控主要还是以 Zabbix 作为主流的解决方案。当时数据库这部分的监控服务 ...
分类：
其他好文 时间：
2020-01-20 09:31:25
阅读次数：
81
[toc] 一、Grafana介绍 Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点： 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表 ...
分类：
系统相关 时间：
2020-01-19 19:29:29
阅读次数：
126
寻找自己的采集图像设备 av_find_input_format() 根据名称查找链表当中的输入的格式 如果要查找设备在使用之前去调用: avdevice_register_all(); avformat_open_input() 主要用来打开输入流并存储到格式化上下文AVFormatContext ...
分类：
其他好文 时间：
2020-01-19 09:56:03
阅读次数：
204
前言 经过前面两篇文章的讲解，大家已经了解了audio的基本使用方法，下面我们就根据我们了解的api做一个直播。web音频流转发之AudioNode web音频流转发之音频源 原理 视频直播：采集一帧一帧的视频，转换为base64转发，接收到base64后，设置为img的src，然后不停的修改img ...
分类：
Web程序 时间：
2020-01-17 20:39:19
阅读次数：
120
