码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
Go处理每分钟100万个请求
引用原文 原文链接 http://marcio.io/2015/07/handling-1-million-requests-per-minute-with-golang/ 问题描述 直入本文要描述的问题:网站流量上来了,高并发负载是不可避免滴问题了,当服务端需要处理大量耗时的任务时,我们一般都会考 ...
分类:其他好文   时间:2020-06-30 09:11:40    阅读次数:50
如何使用python实现的汉诺塔的小程序
python是面向对象的语言,但是做面向过程的操作,也是得心应手。 代码如下: #!/usr/bin/env python# -*- coding: utf-8 -*-from requests.exceptions import RequestException#定义栈,作为塔的数据结构class ...
分类:微信   时间:2020-06-30 00:24:59    阅读次数:109
91家纺网,四次更新
""" 抓取 解析 存储 """ import re #import ast from urllib import parse from datetime import datetime import requests from scrapy import Selector from models  ...
分类:其他好文   时间:2020-06-29 18:51:16    阅读次数:98
Python_爬虫_爬取网络图片信息01
源代码: import requests path = "D:\abc.jpg" #用\或/(老师用的)存疑 r.encoding = r.apparent_encoding kv = {'user-agent':'Mozilla/5.0'} url = "见列表" r = requests.get ...
分类:编程语言   时间:2020-06-29 15:37:10    阅读次数:77
Python+requests环境搭建和基本用法
Python+requests环境搭建 首先你得安装Python,然后安装requests模块(第3方模块,安装方法:pip install requests) 基本用法 get 请求(不带参数的) 1.导入 requests 后,用 get 方法就能直接访问 url 地址,如:http://www ...
分类:编程语言   时间:2020-06-29 15:03:01    阅读次数:67
Spider_基础总结2_Request+Beautifulsoup解析HTML
静态网页 抓取实例: import requests from bs4 import BeautifulSoup def gettop250(): headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKi ...
分类:Web程序   时间:2020-06-29 13:27:33    阅读次数:45
一段Python爬虫代码的分析
import re import requests from bs4 import BeautifulSoup from openpyxl import Workbook from openpyxl.styles import Alignment requests:网页爬取的第三方库 re:内容解析 ...
分类:编程语言   时间:2020-06-29 13:22:06    阅读次数:66
python3+requests实现接口自动化1
逐步完善中……以一个登录接口为例 目录 1、项目目录 2、登录接口和登录用例 3、配置文件 4、run_all 1、项目目录 以之前搭建的aiopms为平台写接口自动化,其中case中放模块和用例,common中放数据库连接信息等,config放邮箱登录信息,logs存放日志文件,report放报告 ...
分类:编程语言   时间:2020-06-28 22:50:24    阅读次数:105
requests接口测试-requests的安装
requests接口测试-requests的安装 安装常见问题 提示连接不上,443问题 一般是因为浏览器设置了代理,关闭代理。 网络加载慢,设置国内镜像地址 1.pip安装 2.pycharm安装 国内镜像源 清华:https://pypi.tuna.tsinghua.edu.cn/simple ...
分类:其他好文   时间:2020-06-28 20:42:46    阅读次数:59
python爬虫beautifulsoup查找定位Select用法
python爬虫:BeautifulSoup 使用select方法详解 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p class="title" name="dromouse"> ...
分类:编程语言   时间:2020-06-28 20:23:17    阅读次数:61
5272条   上一页 1 ... 25 26 27 28 29 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!