import requestsimport timeimport reimport os"""歌手字典"""song_dict = {}def song_static(): """采集静态页面url和歌手""" try: response = requests.get('http://www.9ku ...
分类：
Web程序 时间：
2020-07-11 11:16:32
阅读次数：
105
import asyncio from pyppeteer import launch from pyquery import PyQuery as pq async def main(): browser = await launch() page = await browser.newPage( ...
分类：
系统相关 时间：
2020-07-11 11:14:06
阅读次数：
130
1.通讯协议 1.1 端口 我们想要进行数据通讯分几步? 1. 找到对方ip 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 '逻辑端口' 3. 定义通讯规则。这个通讯规则我们一般称 ...
分类：
编程语言 时间：
2020-07-10 21:15:25
阅读次数：
102
crawlSpider 是Spider的一个子类。自己派生出独有的方法和属性。功能：作用全站数据爬取场景使用： - 创建工程 - cd 工程 - 创建爬虫文件： - 创建一个基于CrawlSpider的爬虫文件 - 指令：scrapy genspider -t crawl spiderName ww ...
分类：
其他好文 时间：
2020-07-10 17:01:13
阅读次数：
112
一、爬虫概述 C#（99）：HttpClient网络HTTP请求和相应 1、使用浏览器获取页面源码 C#使用Selenium Web browser控件CefSharp的使用 2、HTML解析组件 HtmlAgilityPack：https://github.com/zzzprojects/html ...
一、简介AngleSharp:https://github.com/AngleSharp/AngleSharpAngleSharp是一个.NET库，使您能够解析基于尖括号的超文本，例如HTML，SVG和MathML。该库还支持未经验证的XML。 AngleSharp的一个重要方面是CSS也可以解析。 ...
import urllib.request import json # 接收一个字符串作为参数 r = urllib.request.urlopen('http://httpbin.org/get') # 读取response的内容 text = r.read() print(text) # htt ...
分类：
Web程序 时间：
2020-07-10 00:21:22
阅读次数：
70
没想到吧，Python 又拿第一了！ 在 Google 公布的编程语言流行指数中，Python 依旧是全球范围内最受欢迎的技术语言！ 01 为什么 Python 会这么火？ 核心还是因为企业需要用它！因为其易用、逻辑简单并拥有海量扩展包等特性，不仅成为了 AI 的首选语言，而且在数据分析、Web、爬 ...
分类：
编程语言 时间：
2020-07-09 15:14:29
阅读次数：
86
http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html 代码： import requests from bs4 import BeautifulSoup import bs4 def getHTMLtext(url):#获取 ...
分类：
其他好文 时间：
2020-07-09 10:43:51
阅读次数：
61
又被老师要求去搞Python ,曰,,下午回顾了一下Python的基础知识,写了个爬取图片的程序,在此做个分享吧。不喜勿喷 import requests import time from bs4 import BeautifulSoup import uuid # 下载单个页面的一些图片 def ...
分类：
编程语言 时间：
2020-07-08 20:02:59
阅读次数：
82
