用二叉查找树在磁盘上存储数据会面临两个问题： 1、二叉树只有两个分支，数据量非常大的时候，树的高度会很大，不利于数据的查找 2、每次仅若读取一条信息，会造成大量空间的浪费 因此需要把树的高度降低，并且尽量是的每次磁盘读取都能够得到最多的信息 为解决这两个问题，B树应运而生 B树是一种多路平衡树，或者 ...
分类：
其他好文 时间：
2021-04-09 13:24:46
阅读次数：
0
本文已整理致我的 github 地址 https://github.com/allentofight/easy-cs，欢迎大家 star 支持一下 前言 近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级 ...
分类：
其他好文 时间：
2021-04-05 12:21:59
阅读次数：
0
批量更新某个字段 例1： db.getCollection('bond_sentiment_news').find({"source" : 2,"siteUrl" : "http://www.21jingji.com/"}).forEach( function(item){ db.getCollec ...
分类：
数据库 时间：
2021-03-31 12:11:19
阅读次数：
0
这道题强制在线，那么考虑在线算法 好像复杂度低的可以使用平衡树，但是我们这里使用分块算法 因为数据量不是特别大 因为是在前面加一个后面删一个，所以我们考虑使用双端队列来维护这个信息 这样修改的时候，可以把前面的块的末尾加到后面的块，这样每块的大小都不会发生改变 #include<bits/stdc+ ...
分类：
其他好文 时间：
2021-03-30 13:28:17
阅读次数：
0
sql与nosql数据库的选择，考虑以下几个指标： 数据量 并发量 实时性 一致性要求 读写分离 安全性 运维性 根据这些个指标，软件系统可分为 管理型系统：运营类系统，sql 大流量系统：字段多、数据量增长块，nosql 日志型系统：es 搜索型系统：es 事务型系统：sql+缓存redis 离线 ...
分类：
数据库 时间：
2021-03-30 13:17:28
阅读次数：
0
1 概述 在应用开发的过程中，由于前期数据量少，开发人员编写的SQL语句或者数据库整体解决方案都更重视在功能上的实现， 但是当应用系统正式上线后，随着生成数据量的急剧增长，很多SQL语句和数据库整体方案开始逐渐显露出了性 能问题，对生成的影响也越来越大，此时Mysql数据库的性能问题成为系统应用的瓶 ...
分类：
数据库 时间：
2021-03-30 13:01:32
阅读次数：
0
1，背景 1，原因 项目开发中，一般情况下，统计图什么的都是前端来实现的，后端只需要返回数据就好，但是在一些特殊情况下，比如发送邮件报表什么的，这时候不经过前端，不能让前端渲染之后把图片传回来，这时候我们就需要一个比较好的报表绘制工具了 2，依赖 <!-- 报表绘制 --> <dependency> ...
分类：
编程语言 时间：
2021-03-29 11:55:30
阅读次数：
0
single.get("tablelist") 上述获取的是一个列表list 一种比较恶心的办法，将list以字符串的形式拼接在SQL语句中 if "共享平台" in single.get("key"): sql = "select " \ "table_schema, " \ "table_nam ...
分类：
数据库 时间：
2021-03-10 13:01:55
阅读次数：
0
项目中使用的是HSSF进行写入下载操作，但是数据量过大时可能会造成OOM内存溢出异常，原因是一次性将所有信息写入到内存中。 百度了一下，知道原来poi中还有SXSSF，专门解决这个问题，另外还有个意外收货，那就是阿里的EasyExcel。 详细说明感觉自己也总结不了那么好，这个文章详细说明了POI的 ...
分类：
其他好文 时间：
2021-03-08 13:32:40
阅读次数：
0
数据库性能优化有一下几个方面： 1、把数据、日志、索引放到不同的I/O设备上，增加读取速度； 2、纵向、横向分割表，减少表的尺寸； 3、根据查询条件,建立索引,优化索引、优化访问方式，限制结果集的数据量。注意填充因子要适当（最好是使用默认值0）； 4、注意UNion和UNion all 的区别。UN ...
分类：
数据库 时间：
2021-03-06 14:30:22
阅读次数：
0
