转自：https://www.cnblogs.com/wsmwsm/p/12910590.html 一、需求 根据部门汇总业绩，并展示员工业绩明细（效果图如下） 二、实现步骤： 2.1 将原始数据加载至power query中处理 2.2 对业绩进行汇总处理 比如第二行的海安与最后一行的海安为同一个 ...
分类：
其他好文 时间：
2020-06-29 00:32:49
阅读次数：
109
储存方面：数据湖中数据为非结构化的，所有数据都保持原始形式；存储所有数据，并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取，在将数据加载到数据仓库之前，会对数据进行清理与转换。 数据组织形式：数据湖就是捕获半结构化和非结构化数据。而数据仓库则是捕获结构化数据并将其按模式组织。 用途：数 ...
分类：
其他好文 时间：
2020-06-28 20:54:41
阅读次数：
67
python中Keras下载mnist数据集 方法一： 直接写代码进行加载数据集，如果没有下载数据集，它会自动进行下载。示例： from keras.datasets import mnist (X_train, y_train), (X_test, y_test) = mnist.load_dat ...
分类：
编程语言 时间：
2020-06-27 11:41:32
阅读次数：
119
重点推荐这种解析方式，xpath是最常用且最便捷高效的一种解析方式，通用性 1、解析原理 1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到改对象中。 2、调用etree对象中的xpath方法结合表达式实现标签的定位和内容的捕获 2、环境的安装 1、pip install lxml ...
分类：
其他好文 时间：
2020-06-25 23:43:50
阅读次数：
66
图书相关的操作基于后台接口数据进行操作： 需要调用接口的功能点： 功能 请求方式 请求路由 ① 图书列表数据加载 GET http://localhost:3000/books ② 添加图书 POST http://localhost:3000/books ③ 验证图书名称是否存在 GET http ...
分类：
其他好文 时间：
2020-06-19 15:51:04
阅读次数：
49
数据缓存测试点： 1. 缓存大小 ——客户端设定缓存数据大小峰值 2. 缓存数据量 ——设置需要缓存的数据 3. 缓存时间 ——设定存储缓存时间环境：环境： 一. 无网 ——有数据 1.缓存大小未超过，缓存时间有效期内，显示缓存数据加载 2. 缓存大小超过，本地缓存数据删除，显示无网提示，无数据加载 ...
分类：
Web程序 时间：
2020-06-12 12:29:53
阅读次数：
97
题目描述： 在 2.5 亿个整数中找出不重复的整数。注意：内存不足以容纳这 2.5 亿个整数。 分析与解答： 由于这道题目与前面的题目类似，也是无法一次性把所有数据加载到内存中，因此也可以采用类似的方法求解。 方法一：分治法 采用 hash 函数的方法，把这 2.5 亿个整数划分到更小的文件中，从而 ...
分类：
其他好文 时间：
2020-06-10 21:18:33
阅读次数：
101
pytorch 的数据加载到模型的操作顺序如下： 1.创建一个 Dataset 对象 2.创建一个 DataLoader对象 3.循环这个 DataLoader对象，将data, label加载到模型中进行训练 torch.utils.data.Dataset pytorch中文文档中的torch. ...
分类：
其他好文 时间：
2020-06-10 17:15:01
阅读次数：
53
requests模块数据解析 数据解析最根本的作用：定位到某个标签，并获取该标签的文本或者属性 解析：根据指定的规则对数据进行提取 作用：实现聚焦爬虫 聚焦爬虫的编码流程: 指定url 发起请求 获取响应数据 数据解析 持久化存储 数据解析的方式: 正则 bs4 xpath 通用原理: 1.标签定位 ...
分类：
其他好文 时间：
2020-06-09 12:49:24
阅读次数：
82
前言 本节内容计划是讲解TLB与高速缓存的关系，但是在涉及高速缓的前提是我们必须要了解操作系统缓存原理，所以提前先详细了解下缓存原理，我们依然是采取循序渐进的方式来解答缓存原理，若有叙述不当之处，还请批评指正。 缓存原理 高速缓存被划分为多个块，其大小可能不同，缓存中的块数通常为2的幂。如下为一个具 ...
分类：
系统相关 时间：
2020-06-07 21:20:25
阅读次数：
93
