为了更好的进行网络爬虫，应对一些站点的反爬机制，我们通常都要使用一些反反爬策略，其中，构造UA池和IP代理池，每次抓取网页时都采用随机的UA和代理IP是非常实用的一种策略。因此，先来给大家打个样，可以少踩一些坑的。 目标：抓取百度首页源码 import requests import random ...
分类：
编程语言 时间：
2020-06-18 13:14:13
阅读次数：
61
系统软件情况：Win10系统，Charles4.5.6，夜神模拟器6.6.0.9 Charles已经安装了证书以便获取https请求，下面记录Android模拟器的相关设置。 整体过程：在夜神模拟器上配置本机代理-->模拟器下载证书-->模拟器安装证书 1、在夜神模拟器上配置本机代理。 代理IP就是 ...
分类：
移动开发 时间：
2020-06-18 13:10:35
阅读次数：
88
目的：如图，抓取美食节川菜的菜品图片路径，首页一共有18张（分页爬取的解决方案可查看我的其他网络爬虫类博文，有详细描述。其他信息可对照，原理相同） import requests from lxml import etree def main(): #抓取美食杰川菜相关信息 url='https:/ ...
分类：
编程语言 时间：
2020-06-18 12:55:40
阅读次数：
64
遇到Charles抓取https请求中文乱码的情况，可以参考下面的步骤逐一检查，大多数是可以解决的，实操有效。 我使用的是mac charles，抓取android请求。 1、检查证书安装和配置 启动charles，Help → SSL Proxying → Install Charles Root ...
分类：
Web程序 时间：
2020-06-18 01:11:15
阅读次数：
103
我们在爬取网站的时候，经常会遇到各种各样类似加密的情形，比如：
某个网站的 URL 带有一些看不懂的长串加密参数，想要抓取就必须要懂得这些参数是怎么构造的，否则我们连完整的 URL 都构造不出来，更不用说爬取了。
分析某个网站的 Ajax 接口的时候，可以看到接口的一些参数也是加密的，或者 Req... ...
分类：
编程语言 时间：
2020-06-17 19:45:10
阅读次数：
49
互联网时代中想要企业更好的发展，利用好从互联网所获取到的大量数据是至关重要的一点，互联网时代又被称为大数据时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。 适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储
分类：
其他好文 时间：
2020-06-16 11:32:17
阅读次数：
411
pymongo是在Python环境下使用MongoDB的方法。 以某电商网站搜索“连衣裙”的第一页商品数据抓取下来并存入MongoDB数据库。 import requests import pymongo client = pymongo.MongoClient('localhost',27017) ...
分类：
数据库 时间：
2020-06-15 17:47:09
阅读次数：
73
爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。 #!/usr/local/bin/python3.7 from selenium import webdri ...
分类：
编程语言 时间：
2020-06-14 20:53:53
阅读次数：
155
Scrapy是一个常用的爬虫框架，可以提升爬虫的效率，从而更好的实现爬虫。Scrapy是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含request（异步调度和处理）、下载器（多线程的Downloader）、解析器（selector）和twisted（异步处理）等。 第一 ...
分类：
其他好文 时间：
2020-06-14 20:52:44
阅读次数：
70
一.java内存模型 1.线程通信机制 1.共享内存 共享内存这种方式比较常见，我们经常会设置一个共享变量。然后多个线程去操作同一个共享变量。从而达到线程通讯的目的。例如，我们使用多个线程去执行页面抓取任务，我们可以使用一个共享变量count来记录任务完成的数量。每当一个线程完成抓取任务，会在原来的 ...
分类：
其他好文 时间：
2020-06-14 15:11:37
阅读次数：
56
