码迷,mamicode.com
首页 > 其他好文 > 详细

拉勾网

时间:2017-10-20 20:13:10      阅读:152      评论:0      收藏:0      [点我收藏+]

标签:职位   res   lis   属性   福利   python   short   handle   span   

requests模块报错无属性get:文件名与某个Python库名相同
****************************************分割线****************************************
拉勾网深圳的Python工作:
 
import requests
from openpyxl import Workbook
 
info=[]
s=requests.session()
s.get(‘https://www.lagou.com/jobs/list_Python?fromSearch=true‘)
s.cookies[‘LGUID‘]=s.cookies[‘user_trace_token‘]    #反爬の行为分析:访问4页之后添加个LGUID
 
headers={‘User-Agent‘:‘Mozilla/5.0 Chrome/61.0.3163.100 Safari/537.36‘,
         ‘Referer‘:‘https://www.lagou.com/jobs/list_Python?fromSearch=true‘}
url=‘https://www.lagou.com/jobs/positionAjax.json‘
for page in range(1,10):
    print(‘begin to handle page of %s‘ %page)
    data=dict(city=‘深圳‘,kd=‘Python‘,pn=‘%s‘ %page)
    response=s.post(url,data=data,headers=headers).json()
    jobs=response[‘content‘][‘positionResult‘][‘result‘]
    for job in jobs:
        workplace=job[‘city‘]
        salary=job[‘salary‘]
        positionName=job[‘positionName‘]
        industryField=job[‘industryField‘]
        companySize = job[‘companySize‘]
        shortName=job[‘companyShortName‘]
        fullName=job[‘companyFullName‘]
        companyLabelList=‘,‘.join(job[‘companyLabelList‘])
        info.append([workplace,salary,positionName,industryField,\
                     companySize,shortName,fullName,companyLabelList])
 
wb = Workbook()
ws = wb.active
ws.append([‘城市‘,‘薪资‘,‘职位‘,‘领域‘,‘规模‘,‘简称‘,‘全称‘,‘福利‘])
for x in info:
    ws.append(x)
wb.save(‘E:\拉勾网.xlsx‘)
****************************************分割线****************************************
666

拉勾网

标签:职位   res   lis   属性   福利   python   short   handle   span   

原文地址:http://www.cnblogs.com/scrooge/p/7701078.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!