> 原文发表于2017-03-31。 ## 问题 昨天凌晨1点多，可能是V友太热情，或者爬虫太勤奋，轻境界的服务器宕机了，悄悄地，没有留下错误日志。 我上午收到用户反馈，赶快先重启服务器压压惊，再来分析原因。 连错误日志都没有，这是什么程度的问题呢？ 最大的可能性是 JVM内存不够用 或 线程数过多 ...
分类：
其他好文 时间：
2020-12-30 11:28:37
阅读次数：
0
之前领导安排了一任务，就是想要把一网站上的东西爬下来，然后改点东西，自己再做一个静态站放到自己的内建服务器上； 其实就想想看这种需求其实却是还蛮多的； 因此一个强大的网站爬虫还是需要的： 推荐 爬站利器-teleport ultra 下载地址：https://pan.baidu.com/s/1lDN ...
分类：
其他好文 时间：
2020-12-30 11:19:28
阅读次数：
0
可以看出途家做了极多的反爬措施，无论是假数据、js加密，还是各种极高耦合性的加密参数，还是IP或者登陆校验，以至于现在取消了PC网页端的情况，但目前来看都不是很难攻克。 ...
分类：
其他好文 时间：
2020-12-30 10:46:22
阅读次数：
0
安装Twisted包来进一步安装Scrapy。 1.首先打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，找到对应版本的Twisted并下载到你的文件夹。此例为Twisted-20.3.0-cp39-cp39-win_amd64.whl 2. ...
分类：
编程语言 时间：
2020-12-29 12:01:04
阅读次数：
0
简介 Scrapy是爬取网站，提取结构性数据并存储的应用框架。对爬取过程中的请求、返回、解析、存储、调度等流程提供模块化支持。 items模块——定义需要爬取的数据字段 保存爬取到的数据的容器，python的字典类型。根据网站数据对item进行定义字段。 # items示例 import scrap ...
分类：
其他好文 时间：
2020-12-29 11:43:51
阅读次数：
0
最近收到业务需求，了解puppeteer，做自动化登录，获取cookie值 首先自己得澄清一下，之前对于puppeteer是个什么玩意完全不知道，百度一下出来的题目都是爬虫利器，详细了解了之后才发现主要有一下几个功能会经常用到puppeteer库： 1.生成页面PDF 2.做自动化测试（所谓的自动化 ...
分类：
其他好文 时间：
2020-12-29 11:13:37
阅读次数：
0
一、Scrapy的简介 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下 它主要由五大组件和两中间件组成： 五大组件： 1、引擎（ENGINE)：用来处理整个系统的 ...
分类：
其他好文 时间：
2020-12-29 11:11:00
阅读次数：
0
我认为学python应该先系统地熟悉下语言的基础，大致掌握python语言的特性，切片、map、lambda表达式、面向对象等，如果做爬虫或web服务的话三个器（生成器、迭代器、装饰器）、三个程（多进行、多线程、协程）都了解下，后面看你想拿他做什么？
分类：
编程语言 时间：
2020-12-25 13:18:39
阅读次数：
0
Python最近火了，大红大紫那种。PYPL(编程语言受欢迎程度)四月官方榜单宣布，Python荣获NO.1，竟然连朋友圈里的文科生都开始转发Python课程打卡的链接了……这是怎样一个令全民疯狂的语言？作为编程界的“头牌”名媛，Python平易近人的态度和精明婉约的灵动深得各个大佬欢心。比如：人工智能、web开发、爬虫、系统运维、数据分析与计算等等。这几位风流多金的行业精英随便哪个都能“逆转未来
分类：
编程语言 时间：
2020-12-24 12:39:20
阅读次数：
0
python是一门非常不错的编程语言，通俗易懂、适合零基础入门，尤其是爬虫领域有着独特的优势，成为了首选编程语言。
分类：
编程语言 时间：
2020-12-23 11:55:55
阅读次数：
0
