一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
数据分布设计原则 数据均匀：不同存储节点中存储的数据要尽量均衡，用户访问也要做到均衡 数据稳定：当存储节点出现故障需要移除或者扩增时，数据按照分布规则得到的结果应该尽量保持稳定，不要出现大规模的数据迁移 节点异构性：不同存储节点的硬件配置可能差别较大 隔离故障域：保证数据的可用和可靠性 性能稳定性： ...
分类：
其他好文 时间：
2020-02-17 11:58:45
阅读次数：
77
- 通过数据同步完成数据汇聚、采集工作
- 通过数据发布对外提供数据服务
- 通过数据治理对数据资产进行有效管理
而最重要的是数据是可被重复使用，可实时交付的。 ...
分类：
数据库 时间：
2020-02-14 18:29:42
阅读次数：
84
第1章: 先使用.net 再使用java,数据迁移问题？会存在哪些问题。 RE: .net 版本的ccflow与java版本的jflow系列版本都是一个数据库结构，一个操作手册，流程模版，表单模版通用，前台代码html,js一致。所以不存在迁移问题。 Etc： java 与.net 我们有不同的版本 ...
分类：
其他好文 时间：
2020-02-09 11:33:31
阅读次数：
63
原文:用 C# 写一个 Redis 数据同步小工具 用 C# 写一个 Redis 数据同步小工具 Intro# 为了实现 redis 的数据迁移而写的一个小工具，将一个实例中的 redis 数据同步到另外一个实例中。(原本打算找一个已有的工具去做，找了一个 nodejs 的小工具，结果折腾了好久都没... ...
用 C 写一个 Redis 数据同步小工具 Intro 为了实现 redis 的数据迁移而写的一个小工具，将一个实例中的 redis 数据同步到另外一个实例中。(原本打算找一个已有的工具去做，找了一个 nodejs 的小工具，结果折腾了好久都没装上。。。于是就自己写了这个小工具） 之所以自己写一个工 ...
-- 特点 -- 保护真实表, 隐藏重要字段的数据, 保护数据 -- 在视图中的操作会映射执行到真实表中 -- 可以手动开启只读模式, 使用关键字 with read only -- 视图的创建, 用户必须拥有dba权限 -- 创建视图 -- create view 视图名 as select 对外 ...
分类：
数据库 时间：
2020-02-05 11:33:12
阅读次数：
81
" 返回《C 并发编程》" "1. 阻塞锁" "2. 异步锁" "3. 阻塞信号" "4. 异步信号" "5. 限流" 同步的类型主要有两种： 通信 和 数据保护 。 1. 阻塞锁 锁的使用，有四条重要的规则。 + 限制锁的作用范围。 + 文档中写清锁保护的内容。 + 锁范围内的代码尽量少。 + 在 ...
分类：
编程语言 时间：
2020-02-01 19:40:49
阅读次数：
75
PHP 是最流行的 Web 服务端编程语言，并且在 2019 年仍然很火。因此，我们将在这里盘点 2019 年七个最好的 PHP 框架。这里讨论的 PHP 框架主要用于工程实践，通常用于构建复杂、安全和可扩展的 Web 应用程序。 在讨论最好的 PHP Web 框架之前，让我们先了解一些 Web 开 ...
分类：
Web程序 时间：
2020-01-29 00:58:16
阅读次数：
117
我最坚信的信念之一是，通过有效地构建，管理和发展其数据供应链来学习如何充分利用其数据的公司将获得持久的竞争优势。现在拥有如此多的数据，公司必须将其数据视为其最有价值的资产之一。这些数据供应链必须像其他任何系统或分发网络一样平稳运行。 然而，数据供应链提出了独特的挑战。要使数据供应链无缝运行非常困难， ...
分类：
其他好文 时间：
2020-01-26 20:48:16
阅读次数：
112
