前言 导出功能几乎是所有应用系统必不可少功能，今天我们来谈一谈，如何使用内存映射文件MMF进行内存优化，本文重点介绍使用方法，相关原理可以参考文末的连接 实现 我们以单次导出一个excel举例(csv同理)，excel包含1~n个sheet，在每个sheet中存储的按行和列的坐标在单元格存储具体数据 ...
分类：
其他好文 时间：
2020-01-14 13:15:36
阅读次数：
79
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定 ...
分类：
其他好文 时间：
2020-01-12 22:00:49
阅读次数：
106
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—节点—组合。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidejo
分类：
其他好文 时间：
2020-01-08 00:23:10
阅读次数：
157
Sql server bulk insert Bulk Insert Sql server 的bulk insert语句可以高效的导入大数据量的平面文件（txt，csv文件）到数据库的一张表中，其用法如下： bulk insert test from 'f:\test.txt' with (fiel ...
分类：
数据库 时间：
2020-01-06 09:24:29
阅读次数：
130
为什么用NoSql 1.单击MySql 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 上述架构下，我们来看看数据存储的瓶颈是什么？ 1.数据量的总大小 一个机器放不下时 2.数据的索引（B+ Tree）一个机器的内存放 ...
分类：
数据库 时间：
2019-12-30 14:32:18
阅读次数：
104
几乎任何形式的文档和报表都离不开分页，报表如何分页在 B/S 模式的 Web 报表中也是个常见的问题，特别是当大数据量的 Web 报表需要打印输出时，不可能将所有数据打印到一张纸上，这时必然涉及到报表的分页。其中，一个常常遇到的实际问题是：当数据比较多时，在分页后，常常最后一页只有几条数据，这样的报 ...
分类：
其他好文 时间：
2019-12-29 20:37:49
阅读次数：
92
IBMS系统是面向建筑设备生命周期的管理；面向楼宇的管理者和使用者；是传统BAS系统数据及功能的聚合、 更高效的分析和管理、更复杂的应用；跨平台、跨品牌的整合各子系统数据提供一套采集楼宇设备实时数据的工具 ，并建立面向一套楼宇大数据处理和分析应用的方法；海量感知设备和云计算的结合的应用；该系统有助于 ...
分类：
其他好文 时间：
2019-12-28 13:28:25
阅读次数：
102
SpringBatch 是一个大数据量的并行处理框架。通常用于数据的离线迁移，和数据处理，?持事务、并发、流程、监控、纵向和横向扩展，提供统?的接?管理和任务管理;考虑易用性、可扩展性，灵活性，可编程性，Spring Batch会比较适合有点编程基础（特别是使用Spring及SpringBoot框架... ...
分类：
其他好文 时间：
2019-12-22 14:54:04
阅读次数：
91
大数据量数据库操作和设计中的禁区在操作数据库的使用中，有很多禁区，这些禁区是我们想都不要想，碰都不要碰的，一旦做了这些事情，带来的后果绝对是灾难性的。 1、主外键主外键在小型应用，或者人数不多，可以控制的范围内绝对是可以使用的，但是一旦数据量大了起来，再使用外键约束会导致性能很差，一般互联网应想都不 ...
分类：
数据库 时间：
2019-12-20 22:36:10
阅读次数：
107
转自：https://www.cnblogs.com/zuizui1204/p/9197248.html 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必 ...
分类：
数据库 时间：
2019-12-20 22:21:25
阅读次数：
157
