学习爬虫的门槛非常低，特别是通过Python学习爬虫，即使是网上也能找到许多学习爬虫的方法，而且爬虫在数据采集方面效果比较好，比如可以采集几万、上百万网页数据进行分析，带来极有价值的数据，不仅能了解同行的情况，也许还能影响企业的决策。 一、爬虫可以采集哪些数据 1.图片、文本、视频 爬取商品（店铺） ...
分类：
其他好文 时间：
2019-11-14 18:14:54
阅读次数：
52
目录结构 采集资产信息(硬盘, 主板, 网卡) 唯一标识 sn号 只能采集物理机+接口 主机名 需要用规则和流程去规范化, 在服务器装机时候主机名就定义了 流程: 每台主机上需要有一个文件去保存主机名, 所以分2种情况 没有文件 新增的机器 汇报到api 新增到数据库 api 的响应消息中有主机名 ...
分类：
数据库 时间：
2019-11-14 12:30:31
阅读次数：
113
接口版本:v1 接口协议:请商户对接使用对应的转账接口API和免转接口API，商户只能使用菜单对应的API，否则接口会调用失败。左侧菜单未注明的接口免转钱包和转账钱包可以共同使用所有采集均按照北京时间获取记录所有游戏都支持在登录和额度转换时若用户未创建会自动创建用户所有额度转换接口都会返回转换后的余 ...
分类：
Windows程序 时间：
2019-11-14 09:55:31
阅读次数：
1276
使用JDK自带的Set集合来进行URL去重，看上去效果不错，但是这种做法有一个致命了缺陷，就是随着采集的URL增多，你需要的内存越来越大，最终会导致你的内存崩溃。那我们在不使用数据库的情况下有没有解决办法呢？布隆过滤器！它就可以完美解决这个问题，布隆过滤器有什么特殊的地方呢？接下来就一起来学习一下布隆过滤器。什么是布隆过滤器布隆过滤器是一种数据结构，比较巧妙的概率型数据结构，它是在1970年由一个
分类：
其他好文 时间：
2019-11-13 19:19:08
阅读次数：
100
工业RTU是一种针对较长通信距离、恶劣环境数据采集、无线传输的设备，具有远程数据采集、控制和通信功能，能接收主计算机的操作指令，控制末端的执行机构动作，完成“四遥”功能——遥测、遥信、遥控和遥调。
分类：
其他好文 时间：
2019-11-13 19:08:46
阅读次数：
77
ELK对nginx日志进行流量监控 一、前言 线上有一套ELK单机版，版本为5.2.1。现在想把nginx访问日志接入到elk里，进行各个域名使用流量带宽的统计分析。要把nginx日志传输到elk上，可以在存有nginx日志的服务器上使用logstash或者filebeat。但是因为logstash ...
分类：
其他好文 时间：
2019-11-12 09:24:53
阅读次数：
137
独具匠心的采采Lazada批量采集上货ERP管理软件，让你有100个理由选择它。高效地批量采集，视频完美复制，自动翻译自动计价实现上货发布一步到位；批量删除/上架/下架SKU或产品完美超越Lazada后台；绑定任意个店铺进行分组管理多店群；创新以产品列表显示告别SKU为单位显示的眼花缭乱，
分类：
其他好文 时间：
2019-11-10 09:15:38
阅读次数：
649
示例代码 先来感受一下使用 QueryList 来做采集是什么样子。 1 采集百度搜索结果列表的标题和链接。大理石平台价格 采集代码: $data = QueryList::get('https://www.baidu.com/s?wd=QueryList') // 设置采集规则 ->rules([ ...
分类：
其他好文 时间：
2019-11-09 16:03:54
阅读次数：
147
高效能的日志搜索 用途：搜索是非常消耗系统资源的动作，而且对于多关键字搜索和模糊搜索，处理起来也非常麻烦，这里提供了一个非常高效而实用的搜索方法，就是使用Google的站内搜索技术，当你的日志被Google索引了大部分的时候，这种搜索方法的效果会特别出色。新站或Google网页级别低的不建议使用这种 ...
分类：
其他好文 时间：
2019-11-09 14:06:14
阅读次数：
79
数据采集过程包括集成、导入、格式化。数据采集过程中首先集成来自不同来源的数据。数据集成要考虑存储架构、采集方式、接口方式、采集周期等。在存储架构方面，可以考虑在数据源侧设置数据暂存区（StagingArea），也可以考虑在采集平台侧设置的暂存区。靠根据数据量和累计速度来设置合理大小的数据暂存区，防止数据溢出。在存取方式方面，可以根据应用的需要采用不同的存取方式。采集方式包括单个采集和批量采集两种类
分类：
其他好文 时间：
2019-11-09 00:31:54
阅读次数：
83
