分布式唯一ID 一、逻辑要求 1. 全局唯一：相同业务和不同业务id都要保证不重复，以满足分布式部署、弹性伸缩、数据治理、追溯等要求。 2. 趋势递增：需要对BTree数据结构友好，保证查询性能。 3. 单调递增：在相同业务内保证后生成的id一定比先生成的大，满足事务版本号、IM实时消息、排序等要求 ...
分类：
其他好文 时间：
2020-05-14 12:49:23
阅读次数：
86
前言：数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据数据血缘是指数据产生的链路，直白点说，就是我们这个数据是怎么来的，经过了哪些过程和阶段。数据血缘关系的应用场景是什么：在数据的处理过程中，从数据源头到最终的数据生成，每个环节都可能
分类：
其他好文 时间：
2020-04-22 09:53:34
阅读次数：
800
对现有数据体系整理优化的探索。 目前现有体系为生产数据库为ORACLE，分析平台数据库为基于HADOOP平台开发，两个平台并行运行。 基于业务要求，生产ORACLE按一定期限会删除数据，而分析平台则保存历史所有但是会做了脱敏处理，只满足分析使用，目前架构整理如下： ...
分类：
其他好文 时间：
2020-04-08 21:06:16
阅读次数：
137
一、数据治理的定义：是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。二、数据管理的定义：为实现数据和信息资产价值的获取、控制、保护、交付以及提升，对政策、实践和项目所做的计划、执行和监督。数据治理是回答企业决策的相关问题并制定数据规范，数据管理是实现数据治理提出的决策并给予反馈，因此数据治理和数据管理的责任主体也是不同的，前者是董事会，后者是管理层。国际标准化组织ISO指出，数据治理
分类：
其他好文 时间：
2020-04-08 19:13:11
阅读次数：
543
学习了一下大数据治理，数据中台的相关概念。牛人总是一句话就能说透彻。 参考：https://my.oschina.net/leejun2005/blog/73205 https://my.oschina.net/liuyuantao/blog/3135725 https://my.oschina.n ...
分类：
其他好文 时间：
2020-04-03 09:13:35
阅读次数：
192
神策分析 1.17 正是聚焦企业数据治理的强化和数据分析的深入多维进行了全面迭代，从根本上帮助企业灵活多维的进行精准的数据分析。
分类：
其他好文 时间：
2020-03-12 09:30:13
阅读次数：
60
当前，伴随信息技术的持续变革与发展，以数字经济为代表的新经济将成为发展新动能。以云计算、大数据、人工智能等为代表的数字技术不断涌现，快速向经济社会各领域融合***。以数据为核心的数字化转型已是大势所趋。金融业是数据密集型行业，在生产经营过程中积累了海量的数据资源，对数据资产进行管理、应用、治理成为金融机构探索和实践的重要方向。在本篇文章中，我们将结合金融机构在数据治理过程中的具体实践，一起探讨软件定
分类：
其他好文 时间：
2020-02-21 16:22:57
阅读次数：
73
- 通过数据同步完成数据汇聚、采集工作
- 通过数据发布对外提供数据服务
- 通过数据治理对数据资产进行有效管理
而最重要的是数据是可被重复使用，可实时交付的。 ...
分类：
数据库 时间：
2020-02-14 18:29:42
阅读次数：
84
20多天后，我们将步入2020年。在即将过去的2019年，人工智能、5G、数字货币等技术不断冲击着传统的数据治理模式，你所在的企业是否同样感受到了冲击？在这些难以言说的痛中间，又有多少是传统数据集成所带来的？ 今年，随着数据驱动决策的理念逐渐深入人心，越来越多的企业开始逐步对存量的数据资产进行消费， ...
分类：
其他好文 时间：
2019-12-05 19:13:46
阅读次数：
103
数据治理包括：隐私、安全、合规性3个方面。大数据价值创造的前提和基础是企业自身的数据以及全社会开放的数据，当数据开放为社会带来好处的同时，也同时因此了隐私侵犯问题。隐私是社会赋予个人或者企业的权利，隐私权受到法律的保护，因此，企业在利用大数据的同时，要首先考虑大数据应用是否会侵犯他人或者组织的隐私。企业可以多种方式来解决隐私触犯问题。对于企业向内部人员提供的大数据服务，可以通过数据权限保证隐私数据
分类：
其他好文 时间：
2019-11-09 00:31:24
阅读次数：
122
