题目解读 1. 文件格式：访问时间,来源IP,响应结果,响应耗时 2. 文件大小：超大规模，TB数量级 解题思路 首先，数据量过大，通过内存计算肯定是不可行的。 考虑采用分治，将大文件切割成小文件，再对小文件分析，找出访问次数最多的，此时将问题转化为：切割小文件算法 具体思路如下： 将1T的文件按照 ...
分类：
其他好文 时间：
2019-03-18 13:28:16
阅读次数：
168
当spark跑在yarn上时 单个executor执行时，数据量过大时会导致executor的memory不足而使得rdd 最后lost，最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 ...
分类：
其他好文 时间：
2019-02-28 15:01:13
阅读次数：
656
mongodb分片 一般用得比较少，需要较多服务器，还有三种的角色。 一般把mongodb的副本集应用得好就足够用了，可搭建多套mongodb副本集。 mongodb分片技术 mongodb副本集可以解决数据备份，读性能的问题，但由于mongodb副本集是每份数据都是一模一样的，无法解决数据量过大的 ...
分类：
数据库 时间：
2019-02-17 10:34:05
阅读次数：
183
概述 在业务量不大时，单库单表即可支撑。 当数据量过大存储不下、或者并发量过大负荷不起时，就要考虑分库分表。 相关术语 读写分离: 不同的数据库，同步相同的数据，分别只负责数据的读和写； 分区: 指定分区列表达式，把记录拆分到不同的区域中(必须是同一服务器，可以是不同硬盘)，应用看来还是同一张表，没... ...
分类：
数据库 时间：
2019-02-15 23:51:48
阅读次数：
240
春节将至，在此祝愿各位园友春节愉快！新年大吉！万事如意！！！ 在大型Web应用系统中，由于请求的数据量过大以及并发的因素，导致Web系统会出现宕机的现象，解决这一类问题的方法我个人觉得主要在以下几个方面： 1.IIS 负载均衡。 2.数据库 负载均衡。 3.系统架构优化，比如报表服务器和应用服务器分 ...
分类：
其他好文 时间：
2019-01-22 19:10:11
阅读次数：
153
.数据量过大，且采用的是同步，单个excel sheet 13万+数据； .导入前验证，每行某列 验证，频繁和数据库交互 .使用很老的微软企业库进行批量插入操作，效率低下 ，插入后，又批量进行执行sql修改操作 ； 3 解决方案： 修改excel转table 的方案由OpenXMLHelper 转换 ...
分类：
其他好文 时间：
2019-01-15 17:09:10
阅读次数：
256
LVM的诞生： 由于传统的磁盘管理不能对磁盘进行磁盘管理，比如我把/dev/sdb1挂载到了/liu目录下，但是因为数据量过大的原因，此文件系统磁盘利用率已经高达98%，那么我可以直接对这个磁盘进行扩容吗？扩容的话又会丢数据吗？答案当然是不能直接扩充，会丢数据会影响业务的正常运转。因此才诞生了LVM ...
分类：
其他好文 时间：
2019-01-02 00:00:48
阅读次数：
322
1. 引言 近年来，随着芯片、传感器、存储器以及其他硬件设备的快速发展，很多领域都面临着数据量过大、处理时间过长的问题。传统的信号处理方式已经无法满足人们对大量数据处理的需求，简洁、高效、稀疏的信号表示方法是人们研究、关注的热点。稀疏表示和字典学习方法在解决数据量过大的问题上有独特的优势，稀疏表示和 ...
分类：
其他好文 时间：
2018-12-30 22:19:53
阅读次数：
721
我们在前面的文章中提到了BI系统，从文章中我们不难发现BI系统处理数据的时候都是很有效的，但是当数据量过大的时候，我们系统的性能就会弱了很多。当然了，如果我们处理的数据在TB或者TB以上的数据量的时候，这个系统根本就不能够正常运行，所以，我们就需要解决这个问题。 ...
分类：
其他好文 时间：
2018-12-26 11:45:36
阅读次数：
147
"题目传送门" 解题思路 这题我们可以按右端点从小到大排序，我们选择第一条线段作为初始线段，然后判断下一条线段的左端点是否大于等于当前选中线段的右端点即可。 证明：排序后显然当你选了一个线段后，再要从后面选一个线段，其左端点必须 =你的右端点。右端点当然越小越好。 因为这题数据量过大，我们可以使用读 ...
分类：
其他好文 时间：
2018-12-25 11:33:52
阅读次数：
156
