前面介绍了,XPath, id , class , link text, partial link text, tag name, name 七大元素定位方法,本文介绍webdriver支持的最后一个方法:by_css。css和XPath类似,也需要掌握一些语法,才能写出正确的,完整的css选择表达 ...
分类:
编程语言 时间:
2020-07-22 16:14:20
阅读次数:
87
import logging import os import time # log_path是日志存放路径地址 get_path = os.path.dirname(os.path.abspath(__file__)) log_path = os.path.join(os.path.dirname ...
分类:
编程语言 时间:
2020-07-22 16:08:08
阅读次数:
77
案例:使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类:
编程语言 时间:
2020-07-22 16:05:52
阅读次数:
79
通过本文解决两个问题:csv文件是什么,如何使用python完成csv文件读写
分类:
编程语言 时间:
2020-07-22 16:05:34
阅读次数:
72
乱码得原因: 由于ZipFile模块导出遇到中文解码不对,windows上会出现,linux是否会出现不知道没测试过。 解决方式: 1. 搞个文件名引射表(不太方便,少量文件夹套用时候还可以) 2. 修改源码解码格式(不太方便,自己搞了一下,之后报其他错误) 3. 自己写入文件,自己创建文件夹(推荐 ...
分类:
编程语言 时间:
2020-07-22 16:01:31
阅读次数:
92
来自 《Python项目案例开发从入门到实战》(清华大学出版社 郑秋生 夏敏捷主编)中爬虫应用——抓取百度图片 本文使用 request 库来爬取某个网站的图片,前面几章博客介绍了如何使用 urllib 库来抓取网页,本文主要使用的是 request 库来抓取网页内容,使用方法基本一致,但 requ ...
分类:
编程语言 时间:
2020-07-22 15:59:59
阅读次数:
96
一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统,主要应用于大数据实时处理领域,其官网是:http://kafka.apache.org/。Kafka 是一个分布式、支持分区的(Partition)、多副本的(Replica),基于 ZooKeeper 协调的发布 ...
分类:
编程语言 时间:
2020-07-22 15:56:17
阅读次数:
64
原文连接:https://www.yiibai.com/pandas/python_pandas_environment_setup.html sudo apt-get install python-numpy python-scipy python-matplotlib python-pandas ...
分类:
编程语言 时间:
2020-07-22 15:52:49
阅读次数:
63
使用 selenium 获取窗口句柄 from selenium import webdriver import time # chromedriver的绝对路径 # driver_path = r'D:\0SW\最临时软件\chromedriver.exe' driver_path = r'D:\ ...
分类:
编程语言 时间:
2020-07-22 15:38:43
阅读次数:
86
们自己写的字典只能保存输入的键值对,但是不能保存他们输入的顺序,这时候可以借助Python的标准库collections里的orderedDict类 from collections import OrderedDict my_ordered_diction = OrderedDict() my_o ...
分类:
其他好文 时间:
2020-07-22 15:37:51
阅读次数:
63