1.通讯协议 1.1 端口 我们想要进行数据通讯分几步? 1. 找到对方ip 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 '逻辑端口' 3. 定义通讯规则。这个通讯规则我们一般称 ...
分类：
编程语言 时间：
2020-07-10 21:15:25
阅读次数：
102
一、基本思路 打开F12 尝试输入单词girl，会发现每敲一个字母后都有请求 请求地址是http://fanyi.baidu.com/sug 利用NetWork-All-Hearders，查看发现Fromdata的值是 kw:girl 检查返回内容格式，发现返回的是json格式的内容，所以需要用到j ...
分类：
编程语言 时间：
2020-07-07 13:42:20
阅读次数：
135
1.京东商品页面爬取 打开某一个京东页面 https://item.jd.com/69336974189.html 代码： import requests url="https://item.jd.com/69336974189.html" try: r=requests.get(url) r.ra ...
分类：
编程语言 时间：
2020-07-05 13:35:26
阅读次数：
65
爬虫分为几大方向，WEB网页数据抓取、App数据抓取、软件系统数据抓取。本课程主要为同学讲解如何用Python实现App数据抓取，课程从开发环境搭建，App爬虫必备利器详解，项目实战，到最后的多App端数据抓取项目集成，到实现数据实时展示，让你掌握App数据抓取的技能，向更优秀的Python爬虫工程 ...
分类：
移动开发 时间：
2020-07-05 10:24:36
阅读次数：
410
大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一 ...
分类：
编程语言 时间：
2020-06-30 14:26:14
阅读次数：
46
爬虫基础 什么是爬虫？ 爬虫就是通过编写程序模拟浏览器上网，让其去互联网上抓取数据的过程。 抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是如何将这些爬取的数据产品化，商业化。 爬虫的合法性探讨 爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并 ...
分类：
其他好文 时间：
2020-06-30 11:05:52
阅读次数：
63
源代码: import requests path = "D:\abc.jpg" #用\或/（老师用的）存疑 r.encoding = r.apparent_encoding kv = {'user-agent':'Mozilla/5.0'} url = "见列表" r = requests.get ...
分类：
编程语言 时间：
2020-06-29 15:37:10
阅读次数：
77
import re import requests from bs4 import BeautifulSoup from openpyxl import Workbook from openpyxl.styles import Alignment requests：网页爬取的第三方库 re：内容解析 ...
分类：
编程语言 时间：
2020-06-29 13:22:06
阅读次数：
66
python爬虫：BeautifulSoup 使用select方法详解 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p class="title" name="dromouse"> ...
分类：
编程语言 时间：
2020-06-28 20:23:17
阅读次数：
61
1、初始化，该命令将创建一个名为 .git 的子目录，这个子目录含有你初始化的 Git 仓库中所有的必须文件，这些文件是 Git 仓库的骨干。 git init 2、克隆现有的仓库 git clone https://github.com/libgit2/libgit2 3、检查当前文件状态 git ...
分类：
其他好文 时间：
2020-06-28 15:08:20
阅读次数：
66
