Pinpoint接入业务监控后数据量大涨，平均每周Hbase数据增量25G左右，数据量太大，需要对数据进行定期清理，否则监控可用性降低。 操作步骤 查找出数据大的hbase表 [root@iZ28ovlz7ccZ worker]# du -sh hbase/data/default/* 2.2M h ...
分类：
其他好文 时间：
2019-09-30 14:37:17
阅读次数：
115
在开发过程中，系统中经常有些列表需要导出，运用poi的API简单导出是可以很快的完成此功能，但是随着系统数据的增多，前端和后端一般是采用短链接的方式进行交互，由于后台数据量过大，前后端连接超时，导致导出excel失败，（如果sql没问题一般可导出几百数据），当数据达到上千或者上万数据导出失败。现在可 ...
分类：
其他好文 时间：
2019-09-08 00:40:18
阅读次数：
117
生物医学大数据-组学数据资源 困境： 经过human genome project之后得到了Book of life，但是测得base仅仅是生物信息学分析的开始，因为发现了数据的几个重要特点。首先是数据量过大，虽然科学家想通过不同组学角度（组学也随着数据量的增多层层细化和深入）来简化和系统解读过程， ...
分类：
数据库 时间：
2019-09-05 18:57:20
阅读次数：
298
不同点在于，图一是内存缓冲区满了写入到磁盘，还没有进行sort操作 spark 数据倾斜优化： 1. 使用etl预处理数据 （为了防止某些key数据量过大的问题， 对数据进行提前聚合或和其他的表进行join操作）指标不治本，还会出现数据的倾斜问题 2.过滤少数导致倾斜的 key ，临界值，极点的问题 ...
分类：
其他好文 时间：
2019-08-31 16:49:09
阅读次数：
90
原文链接：https://yq.aliyun.com/articles/695864 [TOC] 概述 新安装的greenplum集群只有primary节点，没有mirror。高可用性没得到保证。所以就需要为集群添加mirror节点 注意：数据量过大时添加mirror，会有较大的磁盘压力，因为后台会 ...
分类：
其他好文 时间：
2019-08-09 15:18:54
阅读次数：
133
主要函数： 路径压缩之递归优化：（使用递归优化可以遍历到每一个节点，在进行回溯的时候我们可以对子节点与父节点的关系进行处理，在解决带权并查集时常用到） 但是当数据量过大时，就不能用了，会MLE错误 路径压缩非递归 ...
分类：
其他好文 时间：
2019-08-06 00:44:08
阅读次数：
131
文件上传的三种方案： 1、上传到tomcat服务器 （上传图片的存放位置与tomcat服务器的耦合度太高，会导致系列的问题） 2、在数据库表中建立二进制字段，将图片存储到数据库（会导致数据库的表数据量过大） 3、上传到指定文件目录，添加服务器与真实目录的映射关系，从而解耦上传文件与tomcat的关系 ...
分类：
Web程序 时间：
2019-08-02 00:27:15
阅读次数：
216
排序算法的介绍 排序也称排序算法 (Sort Algorithm)，排序是将一组数据，依指定的顺序进行排列的过程。 排序的分类 1) 内部排序: 指将需要处理的所有数据都加载 到内部存储器(内存)中进行排序。 2) 外部排序法:数据量过大，无法全部加载到内 存中，需要借助外部存储(文件等)进行 排序 ...
分类：
编程语言 时间：
2019-06-17 01:07:07
阅读次数：
155
情况：项目出现了下拉数据量过大，出现页面卡死问题，反馈到我这；当时实现思路1.使用render函数去渲染下拉框 试了发现卡死情况依然存在，所以尝试方法2 2.使用原生js去添加下拉框的<option>页面卡死情况没了，但是变成原生select，数据量大 很难找到对应的人 要下拉去找很久；只能说不完美 ...
分类：
其他好文 时间：
2019-05-25 13:00:23
阅读次数：
1228
【使用场景】 两个RDD进行join的时候，如果数据量都比较大，那么此时可以sample看下两个RDD中的key分布情况。如果出现数据倾斜，是因为其中某一个RDD中的少数几个key的数据量过大，而另一个RDD中的所有key都分布比较均匀，此时可以考虑采用本解决方案。 【解决方案】 【方案优点】 对于 ...
分类：
其他好文 时间：
2019-03-26 01:19:15
阅读次数：
442
