众所周知，java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法; 例如，我们要将数据库(不论是什么数据库)的数据导出到一个文件，一般是Excel或文本格式的CSV;对于Excel来 ...
分类：
数据库 时间：
2018-04-18 11:46:31
阅读次数：
857
工作中常会遇到系统对接，交换数据，将用过的对接数据交换方式简要回顾一下。 一，原始的方式，直接文件交换 通过定义csv,xml,json等文件，一方支持数据导出，另一方支持数据导入。最开始是人手工完成，做的好点的可以通过程序自动完成，比如数据提供方自动导出后放入某个目录，数据接收方定时访问目录获取数 ...
分类：
其他好文 时间：
2018-04-12 21:01:23
阅读次数：
706
list列表数据导出到指定路径文本文档中 public String getSDCardPath() { String sdCard = Environment.getExternalStorageDirectory().getAbsolutePath(); sdCard = sdCard + Fi ...
分类：
其他好文 时间：
2018-04-09 19:06:00
阅读次数：
265
记录一下。 1、mysqldump数据导出 关于GTID： GTID是MySQL5.6以后，加入了全局事务 ID (GTID) 来强化数据库的主备一致性，故障恢复，以及容错能力。 A global transaction identifier (GTID) is a unique identifie ...
分类：
其他好文 时间：
2018-04-08 18:23:54
阅读次数：
1422
背景 项目中已提供海量日志数据的多维实时查询，客户提出新需求：将数据导出。 将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本文主要探讨第一步，在es中查询大量数据或者说查询大数据集。 es支持的查询数量 es默认支持的查询数量或者说查询深度是10,000。 可以动态修改max_ ...
分类：
其他好文 时间：
2018-04-05 15:51:15
阅读次数：
6373
从es将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本篇主要是将第二步，第一步在《 "es实战之查询大量数据" 》中已讲述。 csv vs excel excel2003不能超过65536， excel2007及以上版本支持1048576条数据。excel支持的数据量有限，并且 ...
分类：
其他好文 时间：
2018-04-05 15:50:35
阅读次数：
1706
近期由于项目需要，需要将页面中的表格数据导出excel格式的文件，折腾了许久，在网上各种百度，虽然资料不少，但是大都不全，踩了许多坑，总算是皇天不负有心人，最后圆满解决了。 1、安装相关依赖(npm安装可能会出现某些错误，可以使用cnpm)： 2、下载两个核心js文件，Blob.js和 Export ...
分类：
其他好文 时间：
2018-03-30 16:29:21
阅读次数：
419
Redis导入导出数据库的方法本文摘自:https://www.cnblogs.com/hjfeng1988/p/7146009.html?方法一、Redis数据导出导入－redis-dump and redis-load? ? ? ? 一：安装redis-dump??1、yum?install?ruby&n
分类：
其他好文 时间：
2018-03-27 20:57:22
阅读次数：
369
依赖 Python2711 xlwt MySQLdb 数据库相关 连接 获取字段信息 获取数据 Excel基础 workbook sheet 案例 封装 封装之后 测试结果 总结 数据库数据导出为excel表格，也可以说是一个很常用的功能了。毕竟不是任何人都懂数据库操作语句的。 下面先来看看完成的效 ...
分类：
数据库 时间：
2018-03-21 11:52:45
阅读次数：
182
最近需要从数据库导出特定格式的数据，写代码导太麻烦了，试了几个mysql客户端都只能导固定格式的，最后发现idea的Database工具可以自定义导出的格式，所以就试了下。 导出功能在这个位置 当然这些是idea默认的，想自定义点击Go to Scripts Directory 可以直接修改原来的脚 ...
分类：
其他好文 时间：
2018-03-19 19:05:50
阅读次数：
190
