1. 摘要 对于大数据而言,数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle,MySql上。到大数据时代,基于hadoop生态的大数据架构,数仓基本上都是基于hive的数仓。对于很多大数据开发者而言,特别是早期,很多开发者认为hive数仓就是和业务相关,隐射Hdfs数据文件的 ...
分类:
其他好文 时间:
2019-12-24 19:02:30
阅读次数:
109
https://zhuanlan.zhihu.com/p/37087894 PostgreSQL9.1是第一个采用Serializable Snapshot Isolation(SSI)实现串行化隔离级别的生产级数据库。 本文的目标是学习与分析SSI的设计思路,以及在PG中的实现与优化。首先介绍了隔 ...
分类:
数据库 时间:
2019-12-24 13:33:55
阅读次数:
212
通过XmlDocument类修改XML文档数据,通常需要以下几个主要步骤或其中几个步骤。 (1)获取一个包含XML文档数据的XmlDocument类对象,通常有两种方法来实现这个功能: 通过XmlDocument类的构造函数创建不包含任何结点的空对象,常用默认构造函数。 (2)通过XmlDocume ...
1、事先准备好需要登录的账号信息 2、参数化,使用csv data config(csv数据文件设置) 3、设置CSV文件内容 4、修改登录信息,与CSV文件的变量名称一致 5、设置进程数,即模拟多少个用户同时登录 6、最后查看结果树的数量是否达标 ...
分类:
其他好文 时间:
2019-12-24 10:02:05
阅读次数:
600
关系型数据库与非关系型数据库关系型数据库:一个机构化的数据库,创建在关系模型基础上,一般面向于记录包括oracle、mysql、sqlserver、db2非关系型数据库:除了主流的关系型数据库意外的数据库,都人为是非关系型的包括redis、mongdb、hbase、couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类:
数据库 时间:
2019-12-22 22:50:27
阅读次数:
125
2.全网备份2.1.全网备份的作用此项目可以将web服务器与存储服务器的数据,以编写脚本的方式将数据文件和目录统一备份到备份服务器,然后以法邮件的方式提醒用户2.2.全网备份部署过程2.2.1.服务端部署#!/bin/bash#01:验证备份数据完整性find/backup/-typef-name"finger.txt"|xargsmd5sum-c>/tmp/check_finger.txt
分类:
其他好文 时间:
2019-12-22 21:40:21
阅读次数:
109
Hive与HBase的区别与联系 二者区别 Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。 HBase:HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类:
其他好文 时间:
2019-12-22 18:19:49
阅读次数:
84
文件 主要包括:控制文件,数据文件,联机重做日志文件 参数文件,备份文件,归档日志文件,口令文件,预警和跟踪日志文件 前三类文件较为重要 控制文件 查看控制文件 SQL> select name,value from v$parameter where name like '%control%'; ...
分类:
数据库 时间:
2019-12-21 13:36:52
阅读次数:
216
1背景在生产环境,有时会需要两台主机的特定目录实现实时同步。比如,将NFS共享目录的数据文件,自动实时同步到备份的服务器特定目录中2实时同步技术简介2.1实现实时同步的方法inotify+rsync方式实现数据同步sersync:金山公司周洋在inotify软件基础上进行开发的,功能更加强大2.2工作原理1.需要利用监控服务(inotify),监控同步数据服务器目录中信息的变化2.发现目录中的数据
分类:
其他好文 时间:
2019-12-21 09:25:05
阅读次数:
92
限制条件:只有对服务器的某个库有完全权限以及只能通过外部主机SSMS客户端操作SqlServer2012,可能需要bulkadmin角色或者sysadmin角色的权限以及开启大容量日志模式。需要连接Excel文件和平面文件的驱动,服务器有SSIS的目录。注意事项:BI解决方案必须创建目标表以及BCP ...
分类:
数据库 时间:
2019-12-20 18:54:11
阅读次数:
102