码迷,mamicode.com
首页 > 编程语言 > 详细

Python Selenium实现无可视化界面

时间:2020-08-14 20:24:07      阅读:133      评论:0      收藏:0      [点我收藏+]

标签:意义   爬取网页   sleep   网页   信息   mat   图片   code   edr   

无可视化界面的意义

有时候我们爬取网页数据,并不希望看其中的过程,只想看到最后的数据结果就可以了,这时候,***面就很有必要了!

代码如下

from selenium import webdriver
from time import sleep
#实现无可视化界面
from selenium.webdriver.chrome.options import Options
#实现规避检测
from selenium.webdriver import ChromeOptions

#实现无可视化界面的操作
chrome_options = Options()
chrome_options.add_argument(‘--headless‘)
chrome_options.add_argument(‘--disable-gpu‘)

#实现规避检测
option = ChromeOptions()
option.add_experimental_option(‘excludeSwitches‘, [‘enable-automation‘])

#如何实现让selenium规避被检测到的风险
bro = webdriver.Chrome(executable_path=‘./chromedriver‘,chrome_options=chrome_options,options=option)

#无可视化界面(无头浏览器) phantomJs
bro.get(‘https://www.baidu.com‘)

print(bro.page_source)
sleep(2)
bro.quit()

运行效果:

技术图片

打印出网页代码,证明爬取网站信息成功

Python Selenium实现无可视化界面

标签:意义   爬取网页   sleep   网页   信息   mat   图片   code   edr   

原文地址:https://blog.51cto.com/13760351/2519813

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!