selenium自动化测试工具可谓是爬虫的利器,基本动态加载的网页都能抓取,当然随着大型网站的更新,也出现针对selenium的反爬,有些网站可以识别你是否用的是selenium访问,然后对你加以限制. 当当网目前还没有对这方面加以限制,所以今天就用这个练习熟悉一下selenium操作,我们可以试一 ...
分类：
其他好文 时间：
2019-09-24 10:35:29
阅读次数：
118
Sentinel源码解析系列： "1.Sentinel源码分析—FlowRuleManager加载规则做了什么？" "2. Sentinel源码分析—Sentinel是如何进行流量统计的？" "3. Sentinel源码分析— QPS流量控制是如何实现的？" "4.Sentinel源码分析— Sen ...
分类：
其他好文 时间：
2019-09-22 23:29:08
阅读次数：
117
1.查看所有模块：lsmod 2.查看指定模块的详细信息：modinfo 模块名 3.动态加载模块：modprobe 模块名 4.动态卸载模块：modprobe -r 模块名 5.开机自动加载模块：假设模块名为xxx vi /etc/sysconfig/modules/xxx.modules chm ...
分类：
其他好文 时间：
2019-09-16 11:48:46
阅读次数：
88
每个业务都会需要鉴权、限流、权限校验等逻辑，如果每个业务都各自为战，自己造轮子实现一遍，会很蛋疼，完全可以抽出来，放到一个统一的地方去做。
如果业务量比较简单的话，这种方式前期不会有什么问题，但随着业务越来越复杂，比如淘宝、亚马逊打开一个页面可能会涉及到数百个微服务协同工作，如果每一个微服务都... ...
-- 启动（不推荐）：在nginx目录下有一个sbin目录，sbin目录下有一个nginx可执行程序。./nginx -- 启动（指定配置文件，推荐）/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf -- 关闭命令：相当于 ...
分类：
其他好文 时间：
2019-09-11 23:49:04
阅读次数：
139
通过 abp(net core)+easyui+efcore实现仓储管理系统——菜单-上 (十六)这篇文章，我们已经了解了ABP中的菜单相关的类及类的属性与方法，接下我们通过实例来实现一个动态加载菜单的功能。动态菜单是我们在abp(net core)+easyui+efcore实现仓储管理系统——领... ...
分类：
Web程序 时间：
2019-09-10 14:47:14
阅读次数：
122
Web自动化测试工具，可运行在浏览器，根据指令操作浏览器，只是工具，必须与第三方浏览器结合使用，相比于之前学的爬虫只是慢了一点而已。而且这种方法爬取的东西不用在意时候ajax动态加载等反爬机制。因此找标签可以直接F12找，不用确定源码中是否存在。 安装 Linux: sudo pip3 instal ...
分类：
其他好文 时间：
2019-09-08 09:47:03
阅读次数：
84
1 分析 抓取人民日报里面的新闻详情 https://wap.peopleapp.com/news/1先打开，然后查看网页源码，发现是一堆js，并没有具体的每个新闻的url详情，于是第一反应，肯定是js动态加载拼接的url。 然后接着按f12 查看，就看url，发现出来了好多url然后点击具体的某一 ...
分类：
其他好文 时间：
2019-09-05 21:41:44
阅读次数：
479
爬虫串讲 requests 一定要掌握 爬取数据流程: 1. 指定url 2. 发起请求 3. 获取响应数据 4. 数据解析 5. 持久化存储 get,post参数: url data/params headers proxies 处理ajax动态加载的数据: 动态加载的数据: 通过另一个请求请求到 ...
分类：
其他好文 时间：
2019-09-05 18:20:09
阅读次数：
89
常见的反爬机制及处理方式 1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访 ...
分类：
Web程序 时间：
2019-09-04 20:56:58
阅读次数：
154
