Python爬虫初探 - selenium+beautifulsoup4+chromedriver爬取需要登录的网页信息

import requests#发起静态url请求
from bs4 import BeautifulSoup#BeautifulSoup解析
import re#正则匹配
from selenium import webdriver#下面是webdriver所需
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time#动态加载页面需要延时再获取信息

1 def branchFinder(userInput, collection):
2     regex = re.compile(userInput)     # Compiles a regex.
3     for item in collection:
4         match = regex.search(item)  # Checks if the current item matches the regex.
5         if match:
6             return item
7     return ‘None‘

 1     url1 = ‘https://www.xxxx.com/?&product=‘
 2 
 3     r = requests.get(url1, cookies = cookies, headers = headers)
 4     # with open(‘main.html‘, ‘wb+‘) as f:
 5     #     f.write(r.content)
 6 
 7     soup = BeautifulSoup(r.content, ‘lxml‘)  #声明BeautifulSoup对象
 8     findResult = soup.find_all(‘option‘)  #在页面查找所有的option标签
 9     optionList = []#option所有选项的value参数列表
10     for i in range(1,len(findResult)):#第一个option是默认selected的选项，为空，所以这里没有添加进列表
11         optionList.append(findResult[i][‘value‘])
12     # print(optionList)
13     #已获取主界面的value列表
14 
15 
16     #根据关键字查找对应的branch选项，生成新的访问链接
17     branch = branchFinder(userInput,optionList)
18     if (branch == ‘None‘):
19         return ‘Not Found. Please check your input.‘ #为了实现return，实际上这些代码整个写在一个函数里
20     print(branch+‘\n‘)
21     url2 = url1 + branchFinder(userInput,optionList)#新的访问链接

 1     dcap = dict(DesiredCapabilities.PHANTOMJS)  #设置useragent，实际上只是使用了phantomjs的参数，各位可以ctrl+鼠标点进去定义查看具体参数
 2     dcap[‘phantomjs.page.settings.userAgent‘] = (headers[‘User-Agent‘])  #根据需要设置具体的浏览器信息
 3 
 4     chrome_options = Options()
 5     chrome_options.add_argument(‘--no-sandbox‘)#解决DevToolsActivePort文件不存在的报错
 6     chrome_options.add_argument(‘window-size=1920x3000‘) #指定浏览器分辨率
 7     chrome_options.add_argument(‘--disable-gpu‘) #谷歌文档提到需要加上这个属性来规避bug，否则会提示gpu开启失败
 8     chrome_options.add_argument(‘--hide-scrollbars‘) #隐藏滚动条, 应对一些特殊页面
 9     chrome_options.add_argument(‘blink-settings=imagesEnabled=false‘) #不加载图片, 提升速度
10     chrome_options.add_argument(‘--headless‘) #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败，windows如果不加这条会
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　启动浏览器GUI，并且不会返回句柄，只会等待操作，后面的代码不会执行了
11     chrome_options.binary_location = r"C:/Program Files (x86)/Google/Chrome/Application/chrome.exe" #手动指定使用的浏览器位置
12 
13     # driver=webdriver.Chrome(chrome_options=chrome_options)
14     # driver.get(‘https://www.baidu.com‘)
15     # print(‘hao123‘ in driver.page_source)
16     driver = webdriver.Chrome(chrome_options=chrome_options,desired_capabilities=dcap)#封装浏览器信息
17     # driver = webdriver.Chrome(desired_capabilities=dcap)
18     driver.get(url2)# 访问链接
19     # 添加cookies，注意和之前的格式不一样，之前cookies的格式是xxxxx=yyyyy，这里name对应的是=之前的xxxxx，value对应的是yyyyy
20     driver.add_cookie({‘name‘ : ‘xxxxx‘, ‘value‘ : ‘yyyyy‘})
21     driver.refresh()#重新加载以登录
22     driver.implicitly_wait(1)#等待1s加载数据，需要根据感觉调整时长，如果1s不够就要增加时间，详情参考后面的for循环等待加载数据
23     time.sleep(0.1)
24     #显示Product summary界面
25     print(‘Product summary.\n‘)
26     #点击最新的Build链接
27     driver.find_element_by_tag_name("tbody").find_element_by_tag_name("a").click()#可以顺蔓摸瓜查找一个标签下的其他标签，不论是一个标签还是标签集
28     #已进入Build Viewer界面
29     print(‘Build Viewer.\n‘)
30     #点击Tests
31     driver.find_element_by_id(‘1‘).click()#根据id查找并点击
32     print(driver.find_element_by_class_name(‘table-responsive‘).text)#打印应该是空的，因为还没获取到数据
33     result = ‘‘
34     for i in range(20):#循环加载20s，获取表格数据，由于find也需要时间，实际上加载不止20s
35         driver.implicitly_wait(1)#等待加载数据
36         result = driver.find_element_by_class_name(‘table-responsive‘).text
37         if(result == ‘‘):#循环加载数据，直到非空
38             print( ‘Waiting ‘+ str(i+1) + ‘s...‘)
39         else:
40             break
41     
42     driver.quit()#退出浏览器