来自官网的诠释: 爬取的主要目标就是从非结构性的数据源中提取结构性数据, 如网页. Scrapy提供Item类来满足这样的需求. Item对象是一种简单的容器, 保存了爬取到的数据, 其提供了类似于词典的API, 以及用于声明可用字段的简单语法 Item是一种数据容器, 是作为蜘蛛与管道之间的数据载 ...
分类：
其他好文 时间：
2019-10-17 17:24:31
阅读次数：
76
步骤： 1、选择合适的uboot版本 2、uboot修改 3、交叉编译出bin文件 4、烧写到SD卡或flash中 uboot的版本选择在uboot中IP内核称为CPU 内核外围的各种外设称为broad 可在S5PV210上参考使用的uboot版本：goni 中断和异常的区别： 中断可以被cpu忽略 ...
分类：
其他好文 时间：
2019-10-17 13:52:44
阅读次数：
74
什么是Stream？ Stream（流）是一个来自数据源的元素队列并且支持聚合操作，元素流在管道中经过中间操作，最终操作得到结果。 数据源：集合，数组，I/O channel,产生器generator。 聚合操作：类似于sql比如：filter，find,map,match,sorted. 生成流: ...
分类：
编程语言 时间：
2019-10-16 18:10:26
阅读次数：
81
一丶scrapy的图片数据爬取（流数据的爬取） ? scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe ...
分类：
编程语言 时间：
2019-10-16 00:16:43
阅读次数：
187
list所有tar.gz文件，然后利用xargs将其作为参数传给tar命令。-n 1表示每次传一个参数。 xargs: https://www.cnblogs.com/wangqiguo/p/6464234.html 阅读目录 为什么要用xargs，问题的来源 xargs是什么，与管道有什么不同 x ...
分类：
系统相关 时间：
2019-10-16 00:14:07
阅读次数：
118
一、appsettings.json 1.添加数据 2.创建一个接收类 3.在Startup.cs配置项注册管道信息（红字部分） 4.在文件各个地方注册（例如Controller，红字部分） 5.然后就可以在页面上面使用 效果显示如下： 二、自定义json 1.创建自定义amJson.json 2. ...
分类：
Web程序 时间：
2019-10-14 01:07:05
阅读次数：
135
我的工程实践是机器学习相关，因此我在GitHub上选了下面的源代码进行学习：https://github.com/WillKoehrsen/machine-learning-project-walkthrough 一、对源代码的分析 1、目录结构 该源代码使用Python语言，在jupyter no ...
分类：
其他好文 时间：
2019-10-13 12:42:59
阅读次数：
90
队列介绍 进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的 创建队列的类（底层就是以管道和锁定的方式实现） ： 参数介绍： 主要方法介绍： 队列的使用 ...
分类：
其他好文 时间：
2019-10-13 11:20:28
阅读次数：
70
IO重定向： 程序=指令+数据，程序自身也存在IO 可用于IO的设备，参照一切皆文件的哲学思想 可用于输入的设备：文件（键盘设备、文件系统上的常规文件、网卡等） 可用于输出的设备：文件（显示器、文件系统上的常规文件、网卡等） 程序的数据流有以下几种： 输入数据流：<-- 标准输入（stdin），默认 ...
分类：
其他好文 时间：
2019-10-12 17:04:04
阅读次数：
108
sed工具sed简介：sed是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。sed工作流程：读取：sed从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式
分类：
系统相关 时间：
2019-10-12 09:21:08
阅读次数：
138
