简略介绍： Logstash是elastic技术栈中的一员。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别哪些数据需要同步的。 使用ID的方式，假设表中有1000条数据，Logstats ...
分类：
其他好文 时间：
2020-05-24 11:22:32
阅读次数：
75
一、八爪鱼采集器 八爪鱼采集器是一款功能非常强大、操作容易的网页数据采集利器，界面简洁大方，能快速自动采集并导出、编辑数据，连网页图片上的文字也能解析并提取出来，采集内容广泛。 功能介绍 1、金融数据，如季报，年报，财务报告， 包括每日最新净值自动采集； 2、各大新闻门户网站实时监控，自动更新及上传 ...
分类：
其他好文 时间：
2020-05-24 09:41:12
阅读次数：
184
对于我们来说，网络IP软件并不陌生，因为我们每天都使用网络，无论是工作还是生活，互联网的魔力使我们已经无法完全离开它。平常我们的工作可能也要用到各种类型的换IP软件。 代理IP的用途有哪些？ 1、爬虫采集 Python爬虫爬取数据时，很容易被封禁IP，使用换IP软件之后可以让爬虫伪装，隐藏自己的真实 ...
分类：
其他好文 时间：
2020-05-23 16:32:38
阅读次数：
121
最近线上出现了BUG，就是在服务器迁移之后，发现 nginx 的lua 脚本不能采集nginx的log数据 经过排查发现是因为 lua 不能找到对应文件，所以不能将nginx 数据写入 文件中。即 lua 不能创建创建文件目录，因此找不到文件。 明明 服务器未迁移之前好好的，怎么迁移重启之后就 报错 ...
分类：
其他好文 时间：
2020-05-23 13:16:21
阅读次数：
302
信号采集是非常常见的需求，我们也总是希望采集到的数据是纯净而真实的，但这只是我们的希望。环境中存在太多的干扰信号，为了让我们得到的数据尽可能地接近实际值，我们需要降低这些干扰信号的影响，于是就有了滤波器的用武之地。这里我们讨论的主要是软件实现的数字滤波器，这一篇我们就来讨论基于递推算术平均算法的带阻 ...
分类：
其他好文 时间：
2020-05-23 11:38:41
阅读次数：
53
[toc] 一、阿里云视频点播技术 参考文章： https://blog.csdn.net/qq_33857573/article/details/79564255 视频点播（ApsaraVideo for VoD）是集音视频采集、编辑、上传、自动化转码处理、媒体资源管理、分发加速于一体的一站式音视 ...
分类：
其他好文 时间：
2020-05-22 21:39:41
阅读次数：
102
过去二十年，数字经济蓬勃发展，深刻改变了人们的生产和生活方式。数据已经成为数字经济时代最核心的生产要素。移动互联网成为社会的数字基础设施，社交网络、电子商务、移动支付已经重构每一个中国人的生活方式，人工智能在各行业的应用持续拓展和深化，有望成为新一代的技术基础设施。工业互联网已在千行百业生根发芽，赋能工业企业实现数字化转型，通过对数据的采集和分析形成智能反馈，推动形成全新的生产制造和服务体系，提高
分类：
其他好文 时间：
2020-05-22 17:14:10
阅读次数：
71
摄像头硬件组成模块 一．概述 摄像头可分为数字摄像头和模拟摄像头两大类。数字摄像头可以将视频采集设备产生的模拟视频信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的视频信号必须经过特定的视频捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像， ...
分类：
其他好文 时间：
2020-05-22 09:50:21
阅读次数：
94
功能介绍：黑猫关键词URL采集工具 Pro v2.0 批量关键词自动搜索采集 支持过滤域名 导出域名 导入关键词编码自动识别 自动保存功能 导出采集内容多样话,支持txt,支持xls可以直接用Excel打开 客服qq:944520563 diy定制/商业合作,联系 qq:944520563 // 2 ...
分类：
Web程序 时间：
2020-05-22 09:31:09
阅读次数：
286
在互联网经济快速发展的请况下，我们也迎来了大数据时代，工作中使用到爬虫的工作者也随之轻松起来。但是，我们在进行爬虫工作的时候，时常会受到某些网站的反爬虫机制的限制。因为我们在进行数据采集的时候采集的速度过快，给对方的服务器造成太大的压力，可想而知对方会知道我们是爬虫，这就会导致我们的ip被封。 如果 ...
分类：
其他好文 时间：
2020-05-21 15:58:45
阅读次数：
82
