码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
python + BeautifulSoup + selenium 实现爬取中医智库的古籍分类的数据
爬取内容为 该图片下的七个分类, 然后对应的每个种类的书本信息(摘要和目录) 效果为 代码如下 import requests from bs4 import BeautifulSoup import re import time from selenium import webdriver fro ...
分类:编程语言   时间:2021-01-01 12:57:34    阅读次数:0
Selenium switch_to方法
在web应用自动化测试中,点击一个链接或者按钮会打开一个新的浏览器窗口,会出现多个窗口实例。默认情况下的焦点在主窗口(父窗口),如果要对子窗口进行操作,就需要首先切换到子窗口。 Selenium WebDriver给每个窗口指定了一个唯一的ID,Selenium通过这个唯一ID实现在多个窗口之间切换 ...
分类:其他好文   时间:2021-01-01 12:16:25    阅读次数:0
在chrome安装IDE
第一种方法: 可以通过访问:https://chrome.google.com/webstore/detail/selenium-ide/mooikfkahbdckldjjndioackbalphokd?utm_source=chrome-ntp-icon 12 进行安装 第二种方法 第一种方法无法 ...
分类:其他好文   时间:2020-12-31 12:54:41    阅读次数:0
轻境界的可用性与性能优化记
> 原文发表于2017-03-31。 ## 问题 昨天凌晨1点多,可能是V友太热情,或者爬虫太勤奋,轻境界的服务器宕机了,悄悄地,没有留下错误日志。 我上午收到用户反馈,赶快先重启服务器压压惊,再来分析原因。 连错误日志都没有,这是什么程度的问题呢? 最大的可能性是 JVM内存不够用 或 线程数过多 ...
分类:其他好文   时间:2020-12-30 11:28:37    阅读次数:0
爬站软件teleport ultra
之前领导安排了一任务,就是想要把一网站上的东西爬下来,然后改点东西,自己再做一个静态站放到自己的内建服务器上; 其实就想想看这种需求其实却是还蛮多的; 因此一个强大的网站爬虫还是需要的: 推荐 爬站利器-teleport ultra 下载地址:https://pan.baidu.com/s/1lDN ...
分类:其他好文   时间:2020-12-30 11:19:28    阅读次数:0
(工作总结-途家)关于途家网爬虫的一点总结
可以看出途家做了极多的反爬措施,无论是假数据、js加密,还是各种极高耦合性的加密参数,还是IP或者登陆校验,以至于现在取消了PC网页端的情况,但目前来看都不是很难攻克。 ...
分类:其他好文   时间:2020-12-30 10:46:22    阅读次数:0
爬虫5-Scrapy爬虫架构
简介 Scrapy是爬取网站,提取结构性数据并存储的应用框架。对爬取过程中的请求、返回、解析、存储、调度等流程提供模块化支持。 items模块——定义需要爬取的数据字段 保存爬取到的数据的容器,python的字典类型。根据网站数据对item进行定义字段。 # items示例 import scrap ...
分类:其他好文   时间:2020-12-29 11:43:51    阅读次数:0
接口自动化
自动化测试 python+selenium+unittest+htmlTestrunner python+appium+unittest+htmlTestRunner python+request+unittest+htmlTestRunner+Excel文档 接口文档(excel表格中) 测试开发 ...
分类:其他好文   时间:2020-12-29 11:38:13    阅读次数:0
初始puppeteer
最近收到业务需求,了解puppeteer,做自动化登录,获取cookie值 首先自己得澄清一下,之前对于puppeteer是个什么玩意完全不知道,百度一下出来的题目都是爬虫利器,详细了解了之后才发现主要有一下几个功能会经常用到puppeteer库: 1.生成页面PDF 2.做自动化测试(所谓的自动化 ...
分类:其他好文   时间:2020-12-29 11:13:37    阅读次数:0
爬虫之scrapy、scrapy-redis
一、Scrapy的简介 Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞(又名异步)的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成: 五大组件: 1、引擎(ENGINE):用来处理整个系统的 ...
分类:其他好文   时间:2020-12-29 11:11:00    阅读次数:0
16232条   上一页 1 ... 19 20 21 22 23 ... 1624 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!