之前我们爬取的都是那些无需登录就要可以使用的网站但是当我们想爬取自己或他人的个人中心时就需要做登录,一般进入登录页面有两种 ,一个是独立页面登陆,另一个是弹窗,我们先不管验证码登陆的问题 ,现在试一下直接登陆的爬取: 爬虫是模拟人的行为来请求网页读取数据的现在我们划分一下过程,从登陆到获取: 先看一 ...
分类:
编程语言 时间:
2018-02-01 00:14:43
阅读次数:
139
```
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request,FormRequest class IqianSpider(scrapy.Spider): name = 'iqian' allowed_domains... ...
分类:
其他好文 时间:
2018-01-25 00:09:46
阅读次数:
155
通过Scrapy模拟登陆知乎 通过命令让系统自动新建zhihu.py文件 首先进入工程目录下 再进入虚拟环境 通过genspider命令新建zhihu.py 新建main.py文件,使得程序可以调试 在运行main.py调试之前,需要设置setting.py的文件内容(设置不遵循ROBO协议,防止很 ...
分类:
其他好文 时间:
2018-01-21 16:24:58
阅读次数:
303
16day 练习:模拟登陆 1、用户输入账号密码进行登陆; 2、用户信息保存在文件内; 3、用户密码输入错误三次后,锁定用户,下次登陆,检测到这个用户再也登陆不了 #获取用户名及密码f_user = open("用户.txt",'r')for line in f_user: user_name,us ...
分类:
编程语言 时间:
2018-01-18 23:04:40
阅读次数:
173
import re import requests header = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safar... ...
分类:
其他好文 时间:
2018-01-17 21:58:45
阅读次数:
391
python3.5模拟登陆要求: 1、三次登陆认证; 2、输入正确 >欢迎; 3、输入错误 >密码或账户有误; 4、如果想继续 >选择y或Y。 思路: 1、创建账户和密码; 2、用while循环,count计数; 3、输入正确时,跳出循环(break); 4、挡count=3时,要重新计数(coun ...
分类:
编程语言 时间:
2018-01-13 22:28:44
阅读次数:
178
#模拟登陆:#1. 用户输入帐号密码进行登陆#2. 用户信息保存在文件内#. 用户密码输入错误三次后锁定用户f_lock=open("lock_list",'r+',encoding="utf-8")f_account=open("account",'r',encoding="utf-8")whil ...
分类:
其他好文 时间:
2018-01-07 11:33:40
阅读次数:
142
工具准备 在开始之前,请确保 scrpay 正确安装,手头有一款简洁而强大的浏览器, 若是你有使用 postman 那就更好了。 Python 1 scrapy genspider zhihu Python Python 1 scrapy genspider zhihu 1 1 scrapy gen ...
分类:
其他好文 时间:
2018-01-02 11:26:51
阅读次数:
189
本篇博客主要用于介绍如何使用selenium+phantomJS模拟登陆豆瓣,没有考虑验证码的问题,更多内容,请参考: "Python学习指南" 期初使用driver = webdriver.PhantomJS(),返回的只是,增加了参数就可以了 参考: 1. "获取不到内容,问题参考" 2. "S ...
分类:
编程语言 时间:
2017-12-26 22:42:39
阅读次数:
312
package com.day5.test; import java.util.Scanner; public class Test1 { /** * @param args * 需求:模拟登陆,给三次机会,并提示还有几次 * 用户名和密码都是admin * 分析: * 1,模拟登陆,需要键盘录入, ...
分类:
编程语言 时间:
2017-12-25 20:59:31
阅读次数:
169