基于Spider父类进行全站数据的爬取 全站数据的爬取:将所有页码对应的页面数据进行爬取 手动请求的发送(get): yield scrapy.Request(url,callback) 对yield的总结: 向管道提交item对象 yield item 手动请求发送 yield scrapy.Re ...
分类：
其他好文 时间：
2020-09-21 11:50:33
阅读次数：
45
scrapy下载图片 爬虫类中,将img_src作为item的属性yield即可 关键实现点在管道类里 导入一个图片的管道类 from scrapy.pipelines.images import ImagesPipeline 发请求 import scrapy 重写图片管道类的三个父类方法 get ...
分类：
其他好文 时间：
2020-09-21 11:50:07
阅读次数：
31
https://mp.weixin.qq.com/s/8aOLuXRjJWM5OaSGvFsYHwBy超神经内容导读：Musk今日发布了Tesla全力打造的电动皮卡CyberTruck，因为其独特的造型设计、强大的性能引起了无数人的注意。在发布会现场，Musk重点介绍了CyberTruck的详细信息，还做起了有趣的测试实验。但谁能料到，Musk信誓旦旦的宣告，随即就打了脸。这究竟是怎么一回事呢？这
分类：
其他好文 时间：
2020-09-18 03:56:55
阅读次数：
36
多任务和cpu时间片： 不过，cpu如何选择下一个要执行的进程，这是一件非常复杂的事情。在Linux上，决定下一个要运行的进程是通过"调度类"(调度程序) 来实现的。程序何时运行，由进程的优先级决定。除此之外，优先级还影响分配给进程的时间片长短。在Linux中，改变进程的nice值， 可以影响某类进... ...
分类：
系统相关 时间：
2020-09-18 03:00:11
阅读次数：
45
作为一个刚刚度过35岁生日的程序员，也真正陷入了35+的人生迷茫。真实的现状就是：经验充足、能力还不错、但近况糟糕到了极点。可我不甘心！！！想证明自己，但找不到机会和方向。
分类：
其他好文 时间：
2020-09-17 23:42:51
阅读次数：
31
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。本文分享总结了几个Kafka常见的面试问题，希望对你有所帮助。主要包括以下内容：Kafka是如何保障数据不丢失的？如何解决Kafka数据丢失问题？Kafka可以保障永久不丢失数据吗？如何保障Kafka中的消息是有序的？如何确定
分类：
其他好文 时间：
2020-09-17 23:41:36
阅读次数：
33
##Shell-文件操作命令、管道命令、文件编辑命令(VI) ###（1）查看当前目录下所有文件信息 格式：ls [-al] 参数：a 显示隐藏文件 l 显示文件的详细信息 (命令参数可以组合使用) ###（2）切换目录 格式：cd 要切换到的目录 cd .. 切换到上一级目录 cd ~ 当前用户所 ...
分类：
系统相关 时间：
2020-09-17 19:50:04
阅读次数：
51
中间件： Pipline，管道任务实现。每个任务都有一个 handle 操作逻辑。 Handle 接收俩参数，一个是请求信息，另一个是一个闭包Con 或者说是一个匿名函数。提交请求的内容将会被逐个任务顺序处理。 门面：Cache，Redis，中间件，validate。方便调用。 是基于laravel ...
分类：
其他好文 时间：
2020-09-17 17:34:31
阅读次数：
24
Cesium 快速上手 1. git地址clone到本地 https://gitee.com/jger/cesium git clone https://gitee.com/jger/cesium.git 2. 打开vs code继续安装 npm install npm run build --> ...
分类：
其他好文 时间：
2020-09-17 17:06:07
阅读次数：
34
在Azure DevOps中，管道可以用来构建解决方案，O(∩_∩)O哈哈~快万能了，本章主要介绍如何创建Nuget包并且将其发布到Nuget服务器的过程。 前面我创建了一个非常简单的类库，这边我不做过多叙述，接下来我们需要进行编辑csproj文件，当我们创建Nuget包时，我们将使用dotnet ...
分类：
其他好文 时间：
2020-09-17 16:57:06
阅读次数：
30
