网页结构的相似性 爬虫的目的,是从网站中 自动化 的 批量 提取数据。 首先尝试完成以下操作: 从以下链接中提取电影的标题和标题后的年份: https://movie.douban.com/subject/1292052/ https://movie.douban.com/subject/19626 ...
分类:
编程语言 时间:
2020-07-14 16:37:03
阅读次数:
58
学习Dataset类的来龙去脉,使用干净的代码结构,同时最大限度地减少在训练期间管理大量数据的麻烦。 神经网络训练在数据管理上可能很难做到“大规模”。 PyTorch 最近已经出现在我的圈子里,尽管对Keras和TensorFlow感到满意,但我还是不得不尝试一下。令人惊讶的是,我发现它非常令人耳目 ...
分类:
其他好文 时间:
2020-07-14 13:00:10
阅读次数:
50
异常机制(Exception)和Error 什么是异常 实际工作中,遇到的情况不可能是非常完美的。比如:你写的某个模块,用户输入不一定符合你的要求、你的程序要打开某个文件,这个文件可能不存在或者文件格式不对,你要读取数据库的数据,数据可能是空的等;我们的程序再跑着,内存或硬盘可能满了,等等。 软件程 ...
分类:
其他好文 时间:
2020-07-14 09:15:22
阅读次数:
86
curl 支持多种协议命令行工具,发出网络请求,然后得到和提取数据,显示在"标准输出"(stdout)。 常用命令 查看网页源码 curl <URL> 保存网页 curl --output <file-name> <URL> 或者 curl -o <file-name> <URL> 自动跳转 cur ...
分类:
Web程序 时间:
2020-07-14 00:18:16
阅读次数:
97
学习node之前,首先要安装node,去node官网安装比较node.js 8的稳定版本,然后学习 1.文件操作 在工作中会遇到文件操作,比如读文件,写文件,文件重命名,删除文件,以文件操作作为学习Node.js的起点。接下来会创建一些实用的异步操作文件的工具。 1.1 Node.js事件循环编程 ...
分类:
Web程序 时间:
2020-07-13 18:28:45
阅读次数:
73
数据库事务的隔离级别有以下四种: (1)读未提交(READ UNCOMMITTED) (2)读已提交(READ COMMITTED) (3)重复读(REPEATABLE READ) (4)串行化(SERIALIZABLE) 对于并发事务,我们不希望发生的行为如下: (1)脏读:一个事务读取了另一个未 ...
分类:
数据库 时间:
2020-07-13 18:17:55
阅读次数:
78
思路: Token授权机制:用户使用用户名密码登录后服务器给客户端返回一个Token(通常是UUID),并将Token-UserId以键值对的形式存放在缓存服务器中。服务端接收到请求后进行Token验证,如果Token不存在,说明请求无效。Token是客户端访问服务端的凭证。 时间戳超时机制:用户每 ...
分类:
移动开发 时间:
2020-07-13 18:10:10
阅读次数:
91
des对称加密,是一种比较传统的加密方式,其加密运算、解密运算使用的是同样的密钥,信息的发送者和信息的接收者在进行信息的传输与处理时,必须共同持有该密码(称为对称密码),是一种对称加密算法。 前端(js)加解密: 一:引入需要的cryptojs包 <script src="https://cdn.b ...
分类:
其他好文 时间:
2020-07-13 13:43:07
阅读次数:
67
# -*- codeing = utf-8 -*- # @Time : 2020/7/9 16:43 # @Author: 小菜菜最菜 # @File : douban.py # @Software : PyCharm from bs4 import BeautifulSoup# 网页解析,获取数据 ...
分类:
其他好文 时间:
2020-07-12 22:30:01
阅读次数:
102
1、初始数据库 1.1、数据库分类 关系型数据库:(SQL) Mysql、Oracle、sql Server、DB2、SqlLite 通过表和表之间,行和列之间的关系进行数据的存储,学员信息表,考勤表 非关系型数据库:(NoSQL) Redis、MongDB 非关系数据库,对象存储,通过对象的属性来 ...
分类:
数据库 时间:
2020-07-12 22:28:43
阅读次数:
93