自己在刚学习python时写的，中途遇到很多问题，查了很多资料，下面就是我爬取租房信息的代码： 链家的房租网站两个导入的包1.requests 用来过去网页内容 2.BeautifulSoupimport timeimport pymssqlimport requestsfrom bs4 impor ...
分类：
编程语言 时间：
2020-04-26 11:17:34
阅读次数：
116
参考链接：https://www.cnblogs.com/wt714/p/11963497.html 模块：requests，bs4，queue，sys，time 步骤：给出URL--> 访问URL --> 获取数据 --> 保存数据 第一步：给出URL 百度搜索笔趣阁，进入相关网页，找到自己想要看 ...
分类：
其他好文 时间：
2020-04-25 17:01:15
阅读次数：
96
import requests #请求的作用，简单理解就是向网页请求url链接，进而爬取它 from bs4 import BeautifulSoup #这个BeautifulSoup库是对网页的一个排版美化的作用，给原始网页html换行加缩近使其看着更舒适，学过前端的都很容易理解 import b ...
分类：
其他好文 时间：
2020-04-24 20:08:57
阅读次数：
59
一、数据采集 1、代码展示 import requestsimport refrom bs4 import BeautifulSoupimport pandas as pdimport timepaiming=[]juming=[]shijian=[]daoyan=[]pingfen=[]pingr ...
分类：
其他好文 时间：
2020-04-23 20:56:29
阅读次数：
66
今天学会了爬虫，昨天只能得到一行一列，今天可以得到所有分页的内容 遇到的困难：今天想做一个轮播图，还没研究明白 import bs4 import pymysql import requests from bs4 import BeautifulSoup import pandas as pd de ...
分类：
其他好文 时间：
2020-04-23 19:15:36
阅读次数：
71
爬虫这一节内容说难也难，说简单也简单，这就要看每个人要求了！我写了两个爬虫程序，算是分享一下我的心路历程吧！毕竟我是要搞AI和CTF的呢！ 首先是在学习爬虫几天后的粗糙产品，简单的爬取了一下QQ音乐的榜单（感觉不正规） 同样，主要技术路径是requests-bs4的方法来执行的，通过import r ...
分类：
其他好文 时间：
2020-04-22 13:31:45
阅读次数：
68
import requests from lxml import etree from bs4 import BeautifulSoup import csv url = 'http://www.chinaclear.cn/cms-search/monthview.action?action=chi ...
分类：
其他好文 时间：
2020-04-21 16:44:28
阅读次数：
67
最近在看B站上的视频学习资料，此文是关于用bs4/xpath做数据解析相关的一些使用实例。 bs4解析 环境的安装： pip install bs4 pip install lxml bs4数据解析的解析原理/流程 实例化一个BeautifulSoup对象，且将等待解析的数据加载到该对象中 方式1: ...
分类：
编程语言 时间：
2020-04-20 21:16:29
阅读次数：
100
import requests from bs4 import BeautifulSoup as bs import re import pandas as pd from sqlalchemy import create_engine from pandas.io.sql import to_sq ...
分类：
编程语言 时间：
2020-04-15 00:44:12
阅读次数：
89
#无状态请求：啥东西都不给我 #有状态请求：返回一个东西给我（相当于分配一个id给我，浏览器则保存了这个id，第二次请求时不用。。。。） import requests,lxml,re from bs4 import BeautifulSoup while True: page=3 for i in ...
分类：
编程语言 时间：
2020-04-11 18:25:04
阅读次数：
68
