爬虫Ⅱ:scrapy框架 step5: Scrapy框架初识 Scrapy框架的使用 pySpider 什么是框架： 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） scrapy集成好的功能： 高性能的数据解析操作（xpath） 高性能的数据下载：基于异步 高性能的持久化 ...
分类：
其他好文 时间：
2020-11-30 16:05:04
阅读次数：
8
一：scrapy的概念和流程 1：scrapy 的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['tw?st?d]异步网络框架，可以加快我们的下载速度。 2：scrapy框架的作用 少量的代码， ...
分类：
移动开发 时间：
2020-11-30 15:33:05
阅读次数：
11
springboot 解决跨域请求，No 'Access-Control-Allow-Origin' header is present on the requested resource ©Copyright 蕃薯耀 2020-11-24 https://www.cnblogs.com/fansh ...
分类：
数据库 时间：
2020-11-27 11:48:01
阅读次数：
26
1.1 发送异步请求 <script> <a href="javascript:void(0);" id="testAjax">访问controller</a> <script type="text/javascript" src="/js/jquery-3.3.1.min.js"></script ...
分类：
编程语言 时间：
2020-11-27 11:09:28
阅读次数：
7
1、耗时操作(IO)处理 在开发中针对如何处理耗时的操作，不同的语言有不同的处理方式 处理方式一： 多线程，比如Java、C++，我们普遍的做法是开启一个新的线程（Thread），在新的线程中完成这些异步的操作，再通过线程间通信的方式，将拿到的数据传递给主线程。 处理方式二： 单线程+事件循环，比如 ...
分类：
其他好文 时间：
2020-11-27 11:04:51
阅读次数：
4
项目中用的是MongoDB，但是为什么用其实当时选型的时候也没有太多考虑，只是认为数据量比较大，所以采用MongoDB。 最近又想起为什么用MongoDB，就查阅一下，汇总汇总： 之前也用过redis，当时是用来存储一些热数据，量也不大，但是操作很频繁。现在项目中用的是MongoDB，目前是百万级的 ...
分类：
数据库 时间：
2020-11-26 15:09:14
阅读次数：
13
a、request.getParameter()取得是通过容器的实现来取得通过类似post，get等方式传入的数据。 b、getAttribute是返回对象,getParameter返回字符串 c、getAttribute()一向是和setAttribute()一起使用的，只有先用setAttrib ...
分类：
其他好文 时间：
2020-11-26 15:04:50
阅读次数：
5
serialize() <form id="dialog_form1" action="" method="post"> </form> var form = $("#dialog_form1"); $.ajax({ url:form.attr('action'), type:form.attr(' ...
分类：
Web程序 时间：
2020-11-26 15:02:14
阅读次数：
11
源码： <?php show_source(__FILE__); $username = "admin"; $password = "password"; include("flag.php"); $data = isset($_POST['data'])? $_POST['data']: "" ; ...
分类：
Web程序 时间：
2020-11-25 13:04:51
阅读次数：
25
你是否听到人们说过，异步 Python 代码比“普通（或同步）Python 代码更快？果真是那样吗？ 1 “同步”和“异步”是什么意思？ Web 应用程序通常要处理许多请求，这些请求在很短的时间段内来自不同的客户端。为避免处理延迟，必须考虑并行处理多个请求，这通常称为“并发”。 在本文中，我将继续使 ...
分类：
编程语言 时间：
2020-11-25 12:19:05
阅读次数：
5
