前言 最近遇到了一个HTTP请求数据返回一个gz压缩包的问题，前前后后搞了3天，总算是把整个流程以及处理的细节搞明白了，总结一篇博客记录一下。 问题描述 获取某推广告成效数据的时候由于数据量很多，可能会导致Response数据量过大从而造成请求失败的问题。 某推服务方设计了这样一种方式：现将请求的到 ...
分类：
Web程序 时间：
2021-02-01 11:53:47
阅读次数：
0
什么是限流器？ 限流器是一种限制某种操作在一定时间内的执行次数（例如每秒钟5次）或者执行量（例如每秒钟1G大小的数据）的机制。 限流器是一种防御性的编程实现方式，在大数据量高并发访问时，经常会出现服务或接口面对暴涨的请求而不可用的情况，甚至引发连锁反映导致整个系统崩溃。此时你需要使用的技术手段之一就 ...
分类：
其他好文 时间：
2021-01-30 12:19:16
阅读次数：
0
当一个表中数据量特别大的时候，如果一次性把数据显示给用户，会造成页面过于庞大，体验极差，解决方法就是使用分页查询。 使用分页查询首先要会使用rownum关键字，Oracle对外提供的自动给查询结果编号的关键字，与每行数据没有关系。 注：rownum只能做 < 、<= 的判断，不能进行 > 、 >= ...
分类：
数据库 时间：
2021-01-25 11:25:56
阅读次数：
0
在上一篇中使用ComputeShader进行了向量和矩阵的相乘计算，然后在C#代码中通过ComputeBuffer.GetData方法从GPU中读取计算结果，这个方法是一个同步操作，即调用时会堵塞调用线程，直到GPU返回数据为止，所以在需要读取的数据量很大时会有比较高的耗时，会导致游戏卡顿影响体验。 ...
分类：
Web程序 时间：
2021-01-22 11:43:21
阅读次数：
0
2017年12月2日上午，将学校新闻网2015年之前的45000多条记录迁移到了新网站的mysql数据库，新网站上有2015年1月1日之后的9000多条记录，数据量一下子增加了5倍。 2017年12月3日晚上9点多，有领导和老师反映新闻网无法访问，立即登录服务器进行排查。 一、使用top命令看到的情 ...
分类：
数据库 时间：
2021-01-22 11:42:31
阅读次数：
0
突然有部分逻辑要求测试，所以好奇想了一下怎么去造数据的问题，虽然一个晚上，也没搞懂啥，但是还是接触了几个新的知识点： 知识点1：函数 1.lpad函数是用于填充左边的内容，lpad（字段，长度，‘填充的内容’）；–也有对应的rpad函数 2.ltrim函数适用于去掉左边的空格；–也有对应的rtrim ...
分类：
其他好文 时间：
2021-01-21 10:42:29
阅读次数：
0
前言 当查询出来的数据量非常大的时候，需要分页查询，django-rest-framework 提供了分页的支持。 有三种分页功能：PageNumberPagination，LimitOffsetPagination，CursorPagination。 分页器 django-rest-framewo ...
分类：
编程语言 时间：
2021-01-19 12:28:20
阅读次数：
0
一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。 ...
分类：
数据库 时间：
2021-01-18 11:25:16
阅读次数：
0
Clickhouse写入问题汇总 Zookeeper相关 当clickhouse在建表时使用了Replicated引擎族时, 会对zookeeper有非常重的依赖, 这时候就要注意zookeeper集群的一些优化项. clickhouse集群两分片两副本(4C8G),实测每分钟80W数据量的情况下, ...
分类：
其他好文 时间：
2021-01-15 11:41:46
阅读次数：
0
public static IFeatureClass FeatureToFeature(IFeatureClass SourFeature,IFeatureClass TargetFeature, List<ColumnInternationMapping> columnMapp,bool IsO ...
分类：
其他好文 时间：
2021-01-11 11:06:09
阅读次数：
0
