很容易想到的办法是把文本数据灌到 RDB 里,利用数据库分页机制来做,但这样做会对数据库产生很大影响(容量和性能),毕竟要分页查询的数据量不会太小。而且如果 CSV/TXT 数据就是从数据库导出去的,那这种方式基本就行不通了。 用 JAVA 硬写也是一种办法,就是比较麻烦,除了要能完成过滤、分组等集 ...
分类:
其他好文 时间:
2020-06-02 23:03:43
阅读次数:
65
MongoDB 没有关系数据库之类的分页机制,要实现分页查询得硬编码,可以通过实现 Pageable 接口来自定义分页类,具体网上有很多介绍。 硬编码的缺点是实现太复杂了,也不好维护,对报表开发人员的要求有点高。简单一点的方式是使用支持 MongoDB 分批取数的报表工具,这样就可以解决大数据量查询 ...
分类:
数据库 时间:
2020-06-02 22:58:33
阅读次数:
88
数据分析对于各个行业都起到了非常重要的作用,那么应该如何进行数据分析呢?python的出现刚好可以解决我么的烦恼,作为数据分析的一大利器,python做数据分析的时候拥有众多优势,广受大家的喜欢。
分类:
编程语言 时间:
2020-06-02 09:46:21
阅读次数:
185
需求背景 众所周知,金融行业有各种各样的财务报表,有些报表涉及到公司财务或经营相关的敏感数据,需要进行加密存储,只有掌握密钥的用户才能看到解密后的数据。注意,这里所说的加密并不是针对整个数据库或者表全局加密,而是针对表的某些字段进行加密。 实现思路 1、针对某一张报表创建相对应的一张落地表,相关需要 ...
分类:
其他好文 时间:
2020-06-01 22:21:18
阅读次数:
84
我们有个带 3 个数据集的报表跑了 2 分多钟,太慢了,有啥办法优化吗? ...
分类:
其他好文 时间:
2020-05-31 22:01:57
阅读次数:
81
一、Jmeter简介 Jmeter是啥? Apache JMeter 是Apache组织的开放源代码项目,是一个纯Java桌面应用,用于压力测试和性能测量。它最初被设计用于Web应用测试但后来扩展到其它测试领域。 Jmeter有啥用?? Apache JMeter可以用于对静态的和动态的资源(文件, ...
分类:
其他好文 时间:
2020-05-31 00:40:45
阅读次数:
94
最近工作中用了了Hadoop,比如用Hadoop来处理广告的一些pv量数据、点击数据等,最后统计后给运营展示每个广告的数据报表 首先自己了解了一些关于Hadoop的概念知识 hadoop平台提供了分布式存储(hdfs),分布式计算(mapredduce),任务调度(YARN)、对象存储(Ozone) ...
分类:
其他好文 时间:
2020-05-30 20:22:33
阅读次数:
94
[财务][数据化分析][帆软]报表设计-数据分析(op=view) 1. 概述 数据分析模式也可以查看报表,但是其可以对报表结果进行不分页预览及在线分析:排序、二次过滤等。 下面我们以内置的行式报表—数据纵向扩展 .cpt 模板为例,来看看数据分析的使用方式以及其一些属性的设置。 2. 数据分析(o ...
分类:
其他好文 时间:
2020-05-30 12:51:35
阅读次数:
97
[财务][数据化分析][帆软]报表设计-填报预览 1. 概述 填报预览,顾名思义,就是指在 Web 端预览用来填报数据的模板,一般在只需要录入修改数据的时候使用,当然也可用来查看数据。 下面我们以内置的自由填报模板.cpt 模板为例,来看看填报预览的使用方式以及其一些属性的设置。 2. 填报预览(o ...
分类:
其他好文 时间:
2020-05-30 12:32:34
阅读次数:
103
GitHub 是一个面向开源及私有软件项目的托管平台,因为只支持 Git 作为唯一的版本库格式进行托管,故名 GitHub。 GitHub 于 2008 年 4 月 10 日正式上线,除了git代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表 ...
分类:
其他好文 时间:
2020-05-28 12:52:16
阅读次数:
84