一. 安装： 1. 安装py3，使用Homebrew： ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew install python3 2. 安装请求库，Pi ...
分类：
编程语言 时间：
2021-05-24 04:50:49
阅读次数：
0
直接上代码吧 中间件简单使用： # -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/lat ...
分类：
其他好文 时间：
2021-05-24 03:01:58
阅读次数：
0
基于Flask的示例 Server端 from flask import Flask,render_template import time app = Flask(__name__) @app.route('/bobo') def index_bobo(): time.sleep(2) retur ...
分类：
其他好文 时间：
2021-05-24 02:55:58
阅读次数：
0
1.服务端渲染技术nuxt 1.1什么是服务器端渲染 服务端渲染又称SSR (Server Side Render)是在服务端完成页面的内容，而不是在客户端通过AJAX获取数据。 服务器端渲染(SSR)的优势主要在于：更好的 SEO，由于搜索引擎爬虫抓取工具可以直接查看完全渲染的页面。 如果你的应用 ...
分类：
其他好文 时间：
2021-05-24 02:40:40
阅读次数：
0
1 import urllib.request 2 #获取一个get请求 3 response = urllib.request.urlopen("http://www.baidu.com") 打开网页并返回网页内容给response print(response.read().decode('ut ...
分类：
编程语言 时间：
2021-05-23 23:31:18
阅读次数：
0
分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl ...
分类：
其他好文 时间：
2021-05-04 16:35:44
阅读次数：
0
scrapy安装配置不在本文 提及， 1.在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令 scrapy startproject mySpider 其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下： 下面来 ...
分类：
数据库 时间：
2021-05-03 11:59:41
阅读次数：
0
一、定义数据库数据模型 create database doubandb; create TABLE books( id bigint(20) unsigned NOT NULL COMMENT ID号， title varchar(255) DEFAULT NULL COMMENT 书名， aut ...
分类：
其他好文 时间：
2021-04-28 11:43:58
阅读次数：
0
OutLine 一般写好一个 scrapy 项目，启动方式大多会在命令行里执行： scrapy crawl “spider-name” （后面有参数就跟参数） 但这么启动不方便去断点调试，不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。（下文中图片可能看不清，点击即 ...
分类：
其他好文 时间：
2021-04-26 14:02:07
阅读次数：
0
1 """ 2 正则表达式：regular expression 3 4 本质: 可看成一个模板，按照这个模板规则去匹配 5 6 是一个比较强大的字符串处理工具 7 8 应用场景： 9 1》表单验证 10 2》爬虫 11 3》处理文本和数据 12 13 导入模块：re 14 15 match() 匹 ...
分类：
编程语言 时间：
2021-04-24 13:40:39
阅读次数：
0
