DBA最应该做的事情 备份： 建议每天全备 每天把binlog也要进行备份 理想的目标： 可以把数据还原到任意时间点（可以恢复到近两周的任意时间点）（半年以上：每个月一份 ） hdfs,ceph 监控： 了解环境使用情况 zabbix做一个从库，通过数据分析（环比），智能分析平台。 环境可控： 了解 ...
分类：
数据库 时间：
2019-08-06 12:23:35
阅读次数：
135
Hive 数据仓库，Hive 的本质其实就相当于将 HDFS 中已经存储的文件在Mysql中做了一个双射关系，以方便使用 HQL 去管理查询 用于数据分析、清洗，Hive 适用于离线的数据分析和清洗，延迟较高 基于 HDFS、MapReduce，Hive存储的数据依旧在DataNode上，编写的 H ...
分类：
其他好文 时间：
2019-08-05 14:23:06
阅读次数：
90
声明：本文档所有内容均在本人的学习和理解上整理，仅供参考，欢迎讨论。不具有权威性，甚至不具有精确性，也会在以后的学习中对不合理之处进行修改。 在上一篇“浅谈Hadoop inFusionInsight—华为大数据解决方案的理解”中，我重点提到了大数据的两个相较于传统数据所不同的特点——数量大和种类多 ...
分类：
其他好文 时间：
2019-08-04 01:40:32
阅读次数：
209
2、创建仓库 备份数据之前，要创建一个仓库来保存数据，仓库的类型支持Shared filesystem, Amazon S3, HDFS和Azure Cloud。下面以文件系统为例 3、备份索引 如果只想备份部分索引的话，可以加上indices 参数： 5 、查看备份信息 参考：https://ww ...
分类：
其他好文 时间：
2019-08-04 01:22:52
阅读次数：
111
至2019年12月31日 Spring Cloud(Eureka,Ribbon,Feign,Config,)8月31日 Kubernetes 9月30日 Redis(集群工作原理，选举算法) 10月15日 Ngnix/HAProxy 10月30日 MySQL(集群工作原理，索引，) 9月30日 Mo ...
分类：
其他好文 时间：
2019-08-03 14:46:36
阅读次数：
78
**计算机性能：**横向扩展集群：人多力量大负载均衡集群高可用集群高性能集群（应用层）--hadoop集群=Mapreduces+HDFS（x）纵向扩展应用迁移【Linux下，一切皆文件】**1.系统的启动**电源BIOS芯片--|1.加电自检检查硬件设备是否正常||2.*启动系统*--选择系统启动-----|a.系统所在位置的读取顺序问题(BIOS)：硬盘网络(PXE)U盘CD/DVD...||
分类：
系统相关 时间：
2019-08-01 22:42:11
阅读次数：
151
Linux下，一切皆文件计算机性能：横向扩展：集群：人多力量大。x纵向扩展：做应用迁移。集群：**HDFS+map-reduces=Hadoop集群1、系统启动电源BIOS芯片1、加电自检（检查硬件设备是否正常）2、需要将硬盘中的系统文件，加载到内存中，让CPU读取额，并运行。MBR分区（bootloader）：就是用来寻找并引导系统加载LILO嵌入式Grub是引导系统启动的程序。分为第一阶段，1
分类：
系统相关 时间：
2019-08-01 21:30:32
阅读次数：
146
add by zhj: 我个人强调先整体后局部，先看要学的这个技术的整体框架是怎样的，然后再学，这样，可以把学到的东西用整体串起来， 形成树/图的数据结构，将知识进行了关联。人脑是非常喜欢这种数据结构的，也更容易存储这种数据结构，哈哈，从这个角度进行对比 人脑和计算机，两者的确是很像。而如果你没有整 ...
分类：
其他好文 时间：
2019-08-01 10:16:11
阅读次数：
107
一.HDFS命令简介: HDFS命令和Linux系统操作命令有很多相似之处,后面主要讲hadoop fs的常用命令 1. hadoop fs ：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统 2. hadoop dfs：只能适用于HDFS文件系统 3. hdfs dfs：也只能适用于H ...
分类：
其他好文 时间：
2019-07-31 18:38:27
阅读次数：
106
IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
