1.nosql的优点 》易拓展 》大数据量和高性能 》多样灵活的数据类型 》RDBMS（传统关系型数据库）VS NOSQL 2.nosql的实现 》以下三个软件都是对nosql理念的实现 3.nosql的重点知识点 》键值对存储，缓存，持久化 4.3v和3高 ...
分类：
数据库 时间：
2020-08-02 23:36:38
阅读次数：
95
写在前面Java后端程序员应该会遇到读取Excel信息到DB等相关需求，脑海中可能突然间想起ApachePOI这个技术解决方案，但是当Excel的数据量非常大的时候，你也许发现，POI是将整个Excel的内容全部读出来放入到内存中，所以内存消耗非常严重，如果同时进行包含大数据量的Excel读操作，很容易造成内存溢出问题但EasyExcel的出现很好的解决了POI相关问题，原本一个3M的Excel用
分类：
其他好文 时间：
2020-08-02 10:24:09
阅读次数：
95
基于Request库进行搭建 Request: request库是用来发送HTTP请求，接收HTTP响应的一个python库 request库经常被用来，爬取，网站信息，用它来发起HTTP请求到网站，从HTTP响应消息中提取信息 request不是python的标准库，属于第三方库，需要进行安装：p ...
分类：
其他好文 时间：
2020-07-28 10:17:40
阅读次数：
140
题记： 因业务需要，需将一些用户记录进行汇总并上传到指定平台。需要先将指定时间的所有用户记录进行汇总。涉及到了大数据量的数据导入导出。 使用 iINTO OUTFILE 和 LOAD DATA LOCAL INFILE 实现了改功能，记录一下 步骤： 1 将源数据导出（select * from t ...
分类：
数据库 时间：
2020-07-25 23:53:48
阅读次数：
72
1. 概述 在 Java8 之前，我们通常是通过 for 循环或者 Iterator 迭代来重新排序合并数据 ，又或者通过 重新定义 Collections.sorts 的 Comparator 方法 来实现，这两种方式对于大数据量系统来说，效率并不是很理想。 Java8 中添加了一个新的接口类 S ...
分类：
编程语言 时间：
2020-07-24 10:04:02
阅读次数：
60
MySQL 性能 ①最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL 没有限制单表最大记录数，它取决于操作系统对文件大小的限《阿里巴巴 Java 开发手册》提出单表行数超过 500 万行或者单表容量超过 2GB，才推荐分库分表。 性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置 ...
分类：
数据库 时间：
2020-07-21 14:21:22
阅读次数：
78
转自：http://blog.sina.com.cn/s/blog_6c0541d50102wxen.html 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设 ...
分类：
数据库 时间：
2020-07-15 01:28:05
阅读次数：
121
看了一些关于MySQL查询的优化方法，发现MySQL的优化最离不开的就是索引，还有其他优化的小建议。 查询方法： 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因 ...
分类：
数据库 时间：
2020-07-15 01:27:14
阅读次数：
112
1、mycat的基本介绍及安装1、前置知识1、分布式系统? 分布式系统是指其组件分布在网络上，组件之间通过传递消息进行通信和动作协调的系统。它的核心理念是让多台服务器协同工作，完成单台服务器无法处理的任务，尤其是高并发或者大数据量的额任务。它的特点是： ? **透明性：**分布式系统对于用户是透明的 ...
分类：
其他好文 时间：
2020-07-14 13:42:09
阅读次数：
36
1.产品概述 PIE-Basic是一款高度自动化、简单易用的遥感工程化应用软件，主要面向国内外主流的多源遥感影像数据提供遥感图像基础处理、辅助解译、信息提取及专题制图功能。平台采用多核并行计算技术，大幅提高了软件运行效率，能更好的适应大数据量的处理需要；采用组件化设计，可根据用户具体需求对软件进行灵 ...
分类：
其他好文 时间：
2020-07-07 15:06:25
阅读次数：
95
