码迷,mamicode.com
首页 > 其他好文 > 详细

获取人人网当前用户的个人详情页数据

时间:2020-07-28 10:07:17      阅读:75      评论:0      收藏:0      [点我收藏+]

标签:jpg   mozilla   chrome   rom   htm   url   head   sys   enc   

#编码流程:
#1.验证码的识别,获取验证码图片的文字数据
#2.对post请求进行发送(处理请求函数)
#3.对响应函数进行持久化存储

import requests
from lxml import etree
from CodeClass import YDMHttp

#创建一个session对象
session = requests.Session()

#1.对验证码图片进行捕获和识别
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2626.106 Safari/537.36‘
}

url = ‘http://www.renren.com/SysHome.do‘
page_text = requests.get(url=url,headers=headers).text

tree = etree.HTML(page_text)
code_img_src = etree.xpath(‘//*[@id="verifyPic_login"]/@src‘)[0]
code_img_data = requests.get(url=code_img_src,headers=headers).content
with open(‘./code.jpg‘,‘wb‘) as fp:
    fp.write(code_img_data)

#使用云打码提供的示例代码对验证码图片进行识别
result = getCodeText(‘code.jpg‘,2004)

#post请求的发送(模拟登录)
login_url = ‘‘

data = {

}

#使用session进行post请求的发送
response = session.post(url=login_url,headers=headers,data=data)
print(response.status_code)

#爬取当前用户个人主页对应的页面数据
detail_url = ‘http://www.renren.com/974813621/profile‘
# headers = {
#     ‘Cookie‘:‘xxxx‘
# }
#使用携带cookie的session进行get请求发送
detail_page_test = session.get(url=detail_url,headers=headers).text
with open(‘./bob.html‘,‘w‘,encoding=‘utf-8‘) as fp:
    fp.write(detail_page_text)




获取人人网当前用户的个人详情页数据

标签:jpg   mozilla   chrome   rom   htm   url   head   sys   enc   

原文地址:https://www.cnblogs.com/gerenboke/p/13389054.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!