大数据时代飞速发展，爬虫抓取也显得尤为重要，尤其是对急需转型的传统企业和急待发展的中小型企业意义更大，那么应该如何从庞大的数据中整理出自己需要的数据？这里我们聊一下几个爬虫抓取的过程中可能会遇到的几个问题。1、网页不定时更新网络上的信息都是不断更新的，所以我们在抓取信息的过程中，需要定期来进行操作，也就是说我们需要设置抓取信息的时间间隔，以避免抓取网站的服务器更新，而我们做的都是无用功。2、某些网
分类：
其他好文 时间：
2020-03-10 14:26:35
阅读次数：
56
在egg定时任务里增加多一种类型, 用在多pod集群下, 定时任务只跑一遍。 虽然我觉得这个功能完全可以放在项目业务自己实现, 不用集成进内部框架, 但还是去看了一下, 正好想了解一下egg的定时任务是怎么做的。 egg-schedule 这是egg用到的定时任务插件, 源码看起来不难, 花了点时间 ...
分类：
其他好文 时间：
2020-03-10 14:11:04
阅读次数：
88
Azkaban简单定时任务-使用教程 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 1.登录Azkaban ...
分类：
其他好文 时间：
2020-03-10 12:18:41
阅读次数：
88
1. 减库存 一般下单减库存的流程大概是这样的： 1、查询商品库存。这里直接查的Redis中的库存。 2、Redis中的库存减1。这里用到的Redis命令是：incrby -1 3、扣减数据库中的库存。这里用数据库乐观锁，不用额外加锁 4、异步刷新Redis中的库存 5、定时扫描超时未支付的交易，库 ...
分类：
其他好文 时间：
2020-03-09 21:18:04
阅读次数：
85
为什么会叠加？ 连续点击的时候，会开启很多计算器，当3秒的时候，这些计算器同时向任务队列提交任务，event loop是一个不断循环的过程，找到任务就执行，没有时间间隔。 函数防抖： 在开启当前计算器的时候，清除前面的计算器任务。连续点击，保证最后一次点击的任务执行，前面点击开启的任务都被清除了。这 ...
分类：
其他好文 时间：
2020-03-09 21:03:09
阅读次数：
59
防抖动和节流是不一样的。 防抖：将多次执行变为最后一次执行。 节流：将多次执行变成每隔一段时间执行。 防抖与节流的区别 防抖是定时器等待时间计算过程中，任意的点击 最后只执行了一次，也就是说在点击第一次的时候，它会有个等待时间，然而在这个等待时间中再次点击，它会替换掉第一次点击返回的结果，能够有效的 ...
分类：
其他好文 时间：
2020-03-09 20:50:20
阅读次数：
67
定时器的叠加问题 为什么会叠加？ 连续点击的时候，会开启很多计时器，当3秒的时候，这些计时器同时向任务队列提交任务，event loop是一个不断循环的过程，找到任务就执行，没有时间间隔。 解决办法 再开启当前计时器的时候，清除前面的计时器任务。连续点击，保证最后一次点击的任务执行，前面点击开启的任 ...
分类：
其他好文 时间：
2020-03-09 20:49:05
阅读次数：
72
描述： 使用JavaScript完成指定的日期的倒计时，例如距离活动还有多少时间结束 算法： 1.使用时间对象的getTime()方法获取所有的毫秒数 2.将指定时间的毫秒数和当前时间的毫秒数相减得到中间相差的毫秒数 3.每一天的毫秒数为：1000*60*60*24 就是1000毫秒*60秒*60分 ...
分类：
编程语言 时间：
2020-03-09 19:37:52
阅读次数：
71
1.环境搭建 参考jenkins安装教程 https://www.cnblogs.com/dydxw/p/10538103.html 2.配置-构建触发器： 定时构建语法 * * * * * (五颗星，中间用空格隔开） 第一颗*表示分钟，取值0~59第二颗*表示小时，取值0~23第三颗*表示一个月的 ...
分类：
其他好文 时间：
2020-03-09 17:50:05
阅读次数：
75
场景分析由于公司zabbix的历史数据存储在elasticsearch中，有个需求是尽可能地把监控的历史数据存储的长一点，最好是一年，目前的情况是三台ES节点，每天监控历史数据量有5G，目前最多可存储一个月的数据，超过30天的会被定时删除，每台内存分了8G，且全部使用机械硬盘，主分片为5，副本分片为1，查询需求一般只获取一周的历史数据，偶尔会有查一个月到两个月历史数据的需求。节点规划为了让ES能存
分类：
其他好文 时间：
2020-03-09 12:00:46
阅读次数：
91
