1、编辑.bash_profile文件，输入命令：open -a TextEdit ~/.bash_profile 2、在~/.bash_profile配置phantomjs路径，export PATH="/usr/local/#phantomjs-2.1.1-macosx/bin$PATH" 3、 ...
分类：
编程语言 时间：
2020-06-15 14:04:11
阅读次数：
134
爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。 #!/usr/local/bin/python3.7 from selenium import webdri ...
分类：
编程语言 时间：
2020-06-14 20:53:53
阅读次数：
155
一、什么是PhantomJS？ 一款无界面浏览器。 二、python如何爬取动态加载页面？ selenium+PhantomJS（爬虫终极解决方案） 三、selenium操作PhantomJS 1、下载PhantomJS https://phantomjs.org/download.html 2、 ...
分类：
Web程序 时间：
2020-05-31 18:14:33
阅读次数：
94
一.安装 在我们安装的时候,需要用到的PhantomJs,Pyspider依赖于这个隐形的浏览器。window下需要配置环境变量 使用命令安装: pip3 install pyspider 测试安装成功的命令: pyspider all 在安装的情况下,会出现很多的错误，以下是我安装出现的错误 情况 ...
分类：
其他好文 时间：
2020-05-16 16:43:20
阅读次数：
68
[TOC] selenium : 安装： 百度： js 加载： Selenium支持非常多的浏览器，也支持无界面浏览器PhantomJS。 元素定位： 注意： 浏览器模拟执行: 获取页面源码数据: 执行js: PhantomJS : 谷歌的无头浏览器: 前进后退： 动作链： cookie 处理： 异 ...
分类：
其他好文 时间：
2020-04-28 17:01:46
阅读次数：
63
文章同步发布：https://blog.jijian.link/2020-04-21/hexo-watermark/ 本文折腾 hexo 图片添加水印功能，大部分代码沿用： nodejs 图片添加水印（png, jpeg, jpg, gif） 方案一 使用现有插件：https://github.co ...
分类：
其他好文 时间：
2020-04-23 19:32:19
阅读次数：
70
【备注】：《七哥说道》系列文章由博主的北漂经历改编而成，内容真实，文中观点仅代表个人拙见。![七哥说道][1] 原文解析 格子衫，双肩电脑包，是很多人对程序员的印象，其实程序员也分很多种的，按照分工的不同有前端开发工程师，服务端开发工程师，爬虫工程师，数据分析工程师，AI工程师等等。另外根据语言不同 ...
分类：
其他好文 时间：
2020-04-17 16:03:22
阅读次数：
97
1,selenium 1,定义：Web自动化测试工具，应用于web自动化测试 2,特点： 1,可以运行在浏览器上，根据指定的命令操作浏览器，让浏览器自动加载页面 2,只是工具，不支持浏览器功能，需要与第三方浏览器结合使用 2,phantomjs 1,定义：无界面浏览器(无头浏览器) 2,特点： 1, ...
分类：
Web程序 时间：
2020-03-23 15:05:53
阅读次数：
71
一、动态HTML 1.爬虫跟反爬虫 2.动态HTML连载 （1）JavaScript （2）jQuery （3）Ajax （4）DHTML （5）Python采集动态数据 从JavaScript代码入手采集?；Python第三方库运行JavaScript，直接采集你在浏览器中看到的页面 二、Sele ...
分类：
编程语言 时间：
2020-03-14 01:10:07
阅读次数：
74
一、编程思路 1.模拟登陆 采用selenium PhantomJS 采用Chrome Firefox 这些，我的电脑无法截取验证码位置，读者可以自行尝试 验证码识别可采用tesserocr 我采用手动输入 2、查询，获取搜索框，用户输入关键字并查询 3、页面信息，F12查看即可 ，若采用find_ ...
分类：
其他好文 时间：
2020-03-09 10:32:32
阅读次数：
86
