可靠性传输需要解决的问题 资源的无端浪费 数据的破坏 数据的丢包 数据的重复 数据的分片顺序混乱 传输速度慢 传输数据量过大导致网络拥堵 解决措施 通过序列号与确认应答提高可靠性 当发送端的数据到达接收主机时，接收端主机会返回一个已收到消息的通知。这个消息叫做确认应答（ACK） 序列号可以实现确认应 ...
分类：
其他好文 时间：
2020-03-09 19:33:31
阅读次数：
86
MySQL 处理重复数据 有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。 本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。 防止表中出现重复数据 你可以在 MySQL 数据表中设置指定的字段为 PRI ...
分类：
数据库 时间：
2020-03-04 09:47:07
阅读次数：
75
set、zip和map函数均为python的内置函数。 （1）set() 用法：set(interable) 用来创建一个无序不重复元素的集合。可以对其进行集合的一系列操作，例如求差集、并集和补集，利用这一特性可删除重复数据、探索元素之间的关系等。此外还可以进行len操作，返回集合中元素的个数。 a ...
分类：
编程语言 时间：
2020-03-03 16:19:00
阅读次数：
106
1、格式 符号为大括号 集合没有顺序，也不支持下标操作 集合没有重复的数据 2、定义的类型 #有数据 s1 = {1, 3, 4} # {1，3，4} s2 = set('asdadsdas') # {'a','s','d'} 集合没有重复数据,也没有顺序 # 空集合 s3 = {} # dict ...
分类：
编程语言 时间：
2020-02-29 22:12:05
阅读次数：
71
*探索性数据分析：用于初步检验数据的质量，需计算各类数据特征指标。 本文框架： 探索数据分布（Exploratory Data Distribution，EDD） 缺失率（Missing Rate） 重复值（Duplicate Value） 单一值（Unique Value） 其他数据质量检查（Qu ...
分类：
其他好文 时间：
2020-02-28 18:33:00
阅读次数：
89
1、防抖节流 触发高频事件后n秒内函数只会执行一次 2、数据集合 Set > 不允许重复,只有健值没有健名和数组类似,可以遍历循环有add, delete,has 方法 Map > 字典 键值对的集合，类似集合 4、将数组扁平化并去除其中重复数据，最终得到一个升序且不重复的数组 Array.from ...
分类：
其他好文 时间：
2020-02-28 15:41:59
阅读次数：
57
其实还是得结合业务来思考，我这里给几个思路： 比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入了，update 一下好吧。比如你是写 Redis，那没问题了，反正每次都是 set，天然幂等性。比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据的时候，里面加一 ...
分类：
数据库 时间：
2020-02-26 01:51:51
阅读次数：
110
通过crul抓取到网站之后，通过 preg_match(单一数据) preg_match_all(重复数据，如ul内的li内容或者多个格式一样的控件)来截取自己想要的部分 正则归纳 表示包含所有元素 .*? 空格 \s 图片 "/(href|src)=([\"|']?)([^\"'>]+.(jpg| ...
分类：
Web程序 时间：
2020-02-21 14:54:04
阅读次数：
77
借鉴：https://www.jianshu.com/p/1971fc5b97ca https://blog.csdn.net/qq_40614207/article/details/94003793 贴出代码 // 定义导出Excel表格事件 exportExcel() { // 解决生成重复数据 ...
分类：
其他好文 时间：
2020-02-20 15:34:38
阅读次数：
241
我们在用insert往数据表中插入数据时，为了不重复插入数据，往往先在数据表中查询一下该条数据是否已经存在，若不存在才进行插入。 这样比较麻烦。 找到一个方法：使用 insert if not exists语句，就不需做上述两道工序，轻松防止插入重复数据。 语法： INSERT INTO TABLE ...
分类：
数据库 时间：
2020-02-16 16:23:20
阅读次数：
71
