import urllib.request; from pandas import DataFrame; from pandas import Series; from bs4 import BeautifulSoup; import pandas as pd file_name = "2222.t ...
分类：
其他好文 时间：
2020-03-14 01:13:06
阅读次数：
92
一 先从爬虫案例开始 爬虫和反爬虫之间的斗争，看似反爬虫占据着主动权，但最后都爬虫者获胜，只是付出代价大小的问题，所以这个问题并不重要，真正重要的是爬虫者要有一定的道德底线，虽然技术允许；技术可以具备，但不要爬哪些别人不愿透露的数据，这些数据可能是别人付出巨大代价获取的，恶意爬取别人重要数据，会给别 ...
分类：
其他好文 时间：
2020-03-13 01:28:42
阅读次数：
66
```import requestsimport requests.adaptersfrom bs4 import BeautifulSoupfrom lxml import etreefrom pyquery import PyQuery as pqdef get_url_txt(url, hea... ...
分类：
编程语言 时间：
2020-03-12 10:14:57
阅读次数：
88
今天无意中发现了一个练习爬虫的网站：http://glidedsky.com/ 做的挺不错的 强烈推荐 第一关是将网页中所有的数字相加，因为格式十分整齐，可以用多种方法来实现，一并记录在这里了，注意在get的时候要加上在cookie import requests from bs4 import B ...
分类：
其他好文 时间：
2020-03-11 23:22:18
阅读次数：
130
安装 pip install beautifulsoup4 小测 1. 即使安装的是beautifulsoup4，但是使用时简写为bs4 2. 从bs4库导入一个BeautifulSoup类，注意B和S大写 3. html.parser为解析器，还有xml，lxml， html5lib等解析器 bs ...
分类：
编程语言 时间：
2020-03-09 22:25:39
阅读次数：
65
1.掌握哪些基于爬虫的模块？ - 网络请求：urllib，requests，aiohttp - 数据解析：re，xpath，bs4，pyquery - selenium - js逆向：pyexcJs 2.常见的数据解析方式 - xpath，bs4 3.列举在爬虫过程中遇到的哪些比较难的反爬机制 - ...
分类：
其他好文 时间：
2020-03-08 14:01:00
阅读次数：
85
Python面试重点（爬虫篇） 注意：只有必答题部分计算分值，补充题不计算分值。 第一部分 必答题 注意：第31题1分，其他题均每题3分。 了解哪些基于爬虫相关的模块？ requests、urllib、lxml、bs4、selenium 常见的数据解析方式？ re、lxml、bs4 列举在爬虫过程中 ...
分类：
编程语言 时间：
2020-03-06 13:26:32
阅读次数：
88
[Toc] 基础表格——.table 对<table&bt;添加.table类即可 条纹表格——.table striped 对<table 标签添加.table类和.table striped类即可 带边框表格——.table bordered 对<table 标签添加.table类和.table ...
分类：
其他好文 时间：
2020-03-06 12:50:40
阅读次数：
69
1、BeautifulSoup4库也是一个HTML/XML解析器，主要也是提取数据。lxml只会局部遍历，BeautifulSoup是基于HTML DOM的，会载入整个文档，建立一个树状结构，在解析HTML时比较简单。 from bs4 import BeautifulSoup html=" 一段代 ...
分类：
编程语言 时间：
2020-03-04 23:37:55
阅读次数：
129
还是关于JSP后台管理系统的，有几个问题要解决一下 使用虚拟路径访问本地图片 之前在kindeditor编辑框插入图片时，是把图片文件转换为base64编码的形式；还有一种方法是使用虚拟地址。另外图片在数据库中存储的时候，应该是存储图片的虚拟地址（当然也可以是图片的二进制流数据）。 可以参考 ide ...
分类：
移动开发 时间：
2020-02-29 20:56:19
阅读次数：
141
