小总结1

标签：ssi   发送请求   get   二进制流   github   hub   orm   写入   user   

一、爬虫基本原理
    -爬虫全过程
    1.发送请求
    2.接收响应数据
    3.解析并提取有价值的数据
    4.保存数据

二、Requests请求库
       -get
          url
          headers
          cookies
       - post
          url
          headers
          cookies
          data

 三、爬取校花网视频
 1.通过主页解析提取详情页
 2.通过详情页提取视频url
 3.获取视频的二进制流写入本地

 四、自动登录github
     1.分析请求头与请求体信息
        -用户名
        -密码
        -token
        -杂七杂八

     2.token
       -通过对log in页面的解析提取

     3.对session_ url发送请求
       - headers:
          -user-agent

       - cookies:
          -login页面的cookies

        -data:
          -form_ data

小总结1

标签：ssi   发送请求   get   二进制流   github   hub   orm   写入   user   

原文地址：https://www.cnblogs.com/Auraro997/p/11120032.html