1.打开网站http://top.baidu.com/buzz?b=1&fr=topindex 2.右键找到源代码 3.用工具爬取数据 import requestsfrom bs4 import BeautifulSoupimport pandas as pdtitles=[]hots=[]url ...
分类：
其他好文 时间：
2020-03-22 01:25:54
阅读次数：
70
import requestsfrom bs4 import BeautifulSoup url = 'http://fj.huatu.com/zt/2019zwb/'def sss(url): reque = requests.get(url) reque.encoding=reque.appar ...
分类：
Web程序 时间：
2020-03-21 23:37:30
阅读次数：
113
import requestsimport bs4 url = "https://search.bilibili.com/all?keyword=%E7%BA%AA%E5%BD%95%E7%89%87"header={'User-Agent':""}de = requests.get(url)de. ...
分类：
其他好文 时间：
2020-03-21 21:04:39
阅读次数：
95
import requests from bs4 import BeautifulSoup as bs res = requests.get('http://politics.people.com.cn/GB/1024/index.html') content = res.content.decod ...
分类：
编程语言 时间：
2020-03-21 18:29:37
阅读次数：
75
以上为页面结构 import pandas as pd import requests as rq from bs4 import BeautifulSoup url="http://tieba.baidu.com/hottopic/browse/topicList?res_type=1" def ...
分类：
编程语言 时间：
2020-03-21 17:56:21
阅读次数：
126
import requestsfrom bs4 import BeautifulSoupurl = 'https://s.weibo.com/top/summary?cate=realtimehot'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6 ...
分类：
其他好文 时间：
2020-03-21 16:34:43
阅读次数：
142
import requests from bs4 import BeautifulSoup import bs4 ulist=[]#定义一个空列表 def getHTMLText(url): try: headers = { 'User-Agent': '5498'} r = requests.ge ...
分类：
其他好文 时间：
2020-03-21 15:06:55
阅读次数：
89
from selenium import webdriver from bs4 import BeautifulSoup from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Ke ...
分类：
其他好文 时间：
2020-03-21 14:47:09
阅读次数：
64
import requests#导入相应库from bs4 import BeautifulSoupimport pandas as pdurl = 'http://top.baidu.com/buzz?b=1&c=513&fr=topbuzz_b341_c513'#要爬取的网址headers = ...
分类：
其他好文 时间：
2020-03-21 14:37:17
阅读次数：
104
1. 查找网址http://fj.huatu.com/zt/2019zwb/diqu/9.html 2.找到源代码 3.爬取所需内容 4.编写程序 import requestsfrom bs4 import BeautifulSoupimport pandas as pdurl="http://f ...
分类：
其他好文 时间：
2020-03-21 10:04:34
阅读次数：
58
