元素定位 获取页面元素属性 元素判断 元素操作 操作输入框/单击 双击 下拉框操作 键盘操作 鼠标操作 单选框操作 多选框操作 拖动窗口 操作 JS 框 切换 frame 使用 JS 操作页面对象 操作滚动条 浮动(联想)选项选择 更改页面对象的属性值 文件下载 文件上传 操作日期控件 操作富文本框 ...
获取豆瓣https://movie.douban.com/top250的,第一页前25个电影名字 我的答案: import requests from bs4 import BeautifulSoup head={"user-agent": "Mozilla/5.0 (Windows NT 10.0 ...
分类:
编程语言 时间:
2021-01-11 11:30:43
阅读次数:
0
实战2:使用selenium爬取淘宝数据,保存在mongodb 配置文件 MONGO_URL = 'localhost' MONGO_DB = 'taobao' MONGO_TABLE = 'yintiao' 爬虫文件 from selenium import webdriver from sele ...
分类:
数据库 时间:
2021-01-11 10:47:01
阅读次数:
0
Xpath (XML Path Language),是W3C定义的用来在XML文档中选择节点的语言。 一、从根目录 / 开始 有点像Linux的文件查看,/ 代表根目录,一级一级的查找,直接子节点,相当于css_selector中的 > 号 /html/body/div/p 二、根据元素属性选择 查 ...
分类:
其他好文 时间:
2021-01-08 11:22:49
阅读次数:
0
所谓HTML语义化指的是,根据网页中内容的结构,选择适合的HTML标签进行编写。HTML语义化的意义主要有以下几点: l 在没有CSS的情况下,页面也能呈现出很好的内容结构、代码结构。 l 有利于SEO,让搜索引擎爬虫更好的理解网页,从而获取更多的有效信息,提升网页的权重。 l 方便其他设备解析(如 ...
分类:
Web程序 时间:
2021-01-08 10:34:44
阅读次数:
0
CSDN博客的爬取(链接的爬取)糗事百科段子爬取(内容的爬取) 用户代理池构建实战 前面已经学会如何构建用户代理,那么用户代理池如何构建呢?所谓的用户代理池,即将不同的用户代理组建成为一个池子,随后随机调用。 IP代理与IP代理池的构建的两种方案 IP代理概述IP代理是指让爬虫使用代理IP去爬取对方 ...
分类:
编程语言 时间:
2021-01-07 11:57:47
阅读次数:
0
Python 是面向对象、解释型的编程语言优点:简洁、易学、几乎全能、支持面向对象 Python能做什么?数据分析与挖掘、黑客逆向编程、网络爬虫、机器学习、开发WEB项目、开发游戏、自动化运维 Python的安装官网下载:https://www.python.org/downloads/window ...
分类:
编程语言 时间:
2021-01-07 11:57:31
阅读次数:
0
Vue SPA单页面应用对SEO不友好,当然也有相应的解决方案,下面列出几种最近研究和使用过的SEO方案,SSR和静态化基于Nuxt.js来说。 1、SSR服务器端渲染 2、静态化 3、预渲染prerender-spa-plugin 4、使用Phantomjs针对爬虫做处理 SSR服务器端渲染 对V ...
分类:
其他好文 时间:
2021-01-07 11:48:28
阅读次数:
0
1.电子邮件概述 Email的历史比Web还要久远,直到现在,Email也是互联网上应用非常广泛的服务。 几乎所有的编程语言都支持发送和接收电子邮件,但是,先等等,在我们开始编写代码之前,有必要搞清楚电子邮件是如何在互联网上运作的。 我们来看看传统邮件是如何运作的。假设你现在在北京,要给一个香港的朋 ...
分类:
编程语言 时间:
2021-01-06 12:10:48
阅读次数:
0
1 数据源 知乎 话题『美女』下所有问题中回答所出现的图片 2 抓取工具 Python 3,并使用第三方库 Requests、lxml、AipFace,代码共 100 + 行 3 必要环境 Mac / Linux / Windows (Linux 没测过,理论上可以。Windows 之前较多反应出现 ...
分类:
编程语言 时间:
2021-01-06 12:10:20
阅读次数:
0