1 import urllib.request 2 #获取一个get请求 3 response = urllib.request.urlopen("http://www.baidu.com") 打开网页并返回网页内容给response print(response.read().decode('ut ...
分类：
编程语言 时间：
2021-05-23 23:31:18
阅读次数：
0
分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl ...
分类：
其他好文 时间：
2021-05-04 16:35:44
阅读次数：
0
scrapy安装配置不在本文 提及， 1.在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令 scrapy startproject mySpider 其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下： 下面来 ...
分类：
数据库 时间：
2021-05-03 11:59:41
阅读次数：
0
selenium.common.exceptions.WebDriverException: Message: 'Driver' executable may have wrong permissions. 出现原因： driver = webdriver.Chrome(executable_pat ...
分类：
其他好文 时间：
2021-04-30 12:04:12
阅读次数：
0
Selenium的安装 安装Python3（默认安装pip并添加环境变量）。 pip install selenium。 安装最新版本的Chrome。 下载最新版本的chromedriver.exe，放到Python安装目录的Scripts文件夹下。chrome启动下载地址：http://npm.t ...
分类：
编程语言 时间：
2021-04-28 11:54:33
阅读次数：
0
selenium八大元素定位方式 driver.find_element_by_id(‘id’)#id定位driver.find_element_by_name(‘name’)#name定位driver.find_element_by_class_name(‘class’)#classname定位 ...
分类：
其他好文 时间：
2021-04-28 11:45:12
阅读次数：
0
一、定义数据库数据模型 create database doubandb; create TABLE books( id bigint(20) unsigned NOT NULL COMMENT ID号， title varchar(255) DEFAULT NULL COMMENT 书名， aut ...
分类：
其他好文 时间：
2021-04-28 11:43:58
阅读次数：
0
OutLine 一般写好一个 scrapy 项目，启动方式大多会在命令行里执行： scrapy crawl “spider-name” （后面有参数就跟参数） 但这么启动不方便去断点调试，不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。（下文中图片可能看不清，点击即 ...
分类：
其他好文 时间：
2021-04-26 14:02:07
阅读次数：
0
from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains from time import sleep driver=webdriver.Firefox() driv ...
分类：
其他好文 时间：
2021-04-26 13:30:27
阅读次数：
0
1 """ 2 正则表达式：regular expression 3 4 本质: 可看成一个模板，按照这个模板规则去匹配 5 6 是一个比较强大的字符串处理工具 7 8 应用场景： 9 1》表单验证 10 2》爬虫 11 3》处理文本和数据 12 13 导入模块：re 14 15 match() 匹 ...
分类：
编程语言 时间：
2021-04-24 13:40:39
阅读次数：
0
