20201316 2020-2021-2 《Python程序设计》实验四报告 课程：《Python程序设计》 班级：2013 姓名：陈鑫 学号：20201316 实验教师：王志强 实验日期：2021年6月15日 必修/选修： 公选课 1.实验内容 Python综合应用：爬虫、数据处理、可视化、机器学 ...
分类：
编程语言 时间：
2021-06-16 17:54:54
阅读次数：
0
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 ...
分类：
编程语言 时间：
2021-06-16 17:38:24
阅读次数：
0
之前我们是用lxml来提取数据，今天我们来学习一下bs4 在学习之前呢我们需要先来安装一下包 pip install bs4 我们用到的例子还是上节课的text内容 text = \ """ <ul class="ullist" padding="1" spacing="1"> <li> <div ...
分类：
其他好文 时间：
2021-06-16 17:32:19
阅读次数：
0
我们用爬虫爬取页面时会出现因解码方式错误出现乱码。需要去查询页面的编码方式。直接F12中控制台输入document.charset ...
分类：
其他好文 时间：
2021-06-13 09:54:01
阅读次数：
0
本文所指之数据工程，限定于: 数据分析、数据采集(集成) 1 网站 spider-flow - 智能高效的在线爬虫 spider-flow 是一个无需写代码的爬虫平台，以图形化方式定义爬虫流程，无需代码即可实现一个爬虫 superset.workerindata.com - 账号: bilibili ...
分类：
数据库 时间：
2021-06-11 18:27:40
阅读次数：
0
在学习python协程的过程中，结合生成器函数，实现了新浪新闻的深度爬取，深度爬取可以一边获得新生成的url，一边向URL发出请求，下面上代码 import aiohttpfrom lxml import etreeimport csvimport asyncioimport osfrom logu ...
分类：
其他好文 时间：
2021-06-10 17:45:03
阅读次数：
0
Selenium简介 Selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。【爬虫效率比较低】 安装方法如下： pip install selen ...
分类：
其他好文 时间：
2021-06-08 22:42:27
阅读次数：
0
做爬虫，学技术，需要免费空间，找来找去，找去找来，实在找不到好的。 那次尝试使用三 丰 云，非常好，且没有广告。 不仅免费，并且十分方便，访问速度甚至能超过很大一部分所谓的付费主机，确实很棒！ 三 丰 云 https://www.sanfengyun.com ...
分类：
其他好文 时间：
2021-06-06 18:52:44
阅读次数：
0
0x01--新发地菜价 #!/usr/local/bin/python3.6 # -*- encoding=utf-8 -*- """ @coder: diygou @since: 2021/6/5下午6:33 """ import requests from bs4 import Beautifu ...
分类：
其他好文 时间：
2021-06-06 18:49:24
阅读次数：
0
前言简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 一、爬虫是什么？如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛， 沿着网 ...
分类：
编程语言 时间：
2021-06-05 17:55:21
阅读次数：
0
