无人化的值守，其实质并非真正无人，而是基于大数据物联网等手段，将分布在配电室内的各类传感器、采集与通信设备，将各种电气信号、运行参数和环境数据传送到基于云平台的监控中心，对用户配电室进行远程、集中、实时监控。而在每个变电站/配电室中，不再设置值守人员，从而节约配电室的人力成本投入。 ...
分类：
其他好文 时间：
2021-06-11 18:33:34
阅读次数：
0
数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与 ...
分类：
其他好文 时间：
2021-06-10 18:05:50
阅读次数：
0
最近实时的项目有个需求，就是要查看集群中各个节点下面跑的项目的Log。于是想到了用Nginx将log目录暴露出来集成到现有的监控平台中去。nginx的安装配置在前面的博客中有提到过，这里记录下如何配置访问log目录。 1 首先，设置权限 配置需要访问的log目录有权限 chmod -R /.../. ...
分类：
其他好文 时间：
2021-06-09 15:33:18
阅读次数：
0
一、记录 1. 实时监控网卡流量脚本：https://www.kafan.cn/edu/5611612.html awk 'BEGIN{ OFMT="%.3f"; devf="/proc/net/dev"; while(("cat "devf) | getline) { if($0 ~ /:/ && ...
分类：
系统相关 时间：
2021-06-08 23:46:04
阅读次数：
0
1. Hadoop 概览Google 三篇论文（GFS -> HDFS，Map-Reduce -> MR，BigTable -> HBase）是 Hadoop 的思想之源。Hadoop 生态非常庞大，其最初两大核心是 HDFS 和 MR，分别负责存储和计算（Hadoop 1.x 中，MR 既负责计算 ...
############################# mysql服务器使用时间越久，性能越差，这句话像是一句废话， 特别是当服务器上的mysql服务处于较大的QPS的时候，就会非常明显 那么是如何发现的呢？ 在我给falcon监控业务替换机器的时候，发现同配置的新机器的从库主从延迟很小很小，而 ...
分类：
数据库 时间：
2021-06-08 22:53:48
阅读次数：
0
一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类：
其他好文 时间：
2021-06-08 22:45:15
阅读次数：
0
一、简介 MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL主从复制架构提供了 automating master failover （自动化主故障转移）功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master ...
分类：
其他好文 时间：
2021-06-07 21:17:17
阅读次数：
0
百思不得其解。。。 按照网上教程，都试过了。 但是总不对。 后来我通过navicat ,监控日志，发现了问题。。。 仔细看！ 我传入的Date， 监控的数据： 也别管少了还是多了，反正就是不一样。 那么我们就知道了。 是mysql时区的问题！！！ 解决方案： 设置serverTimezone jdb ...
分类：
其他好文 时间：
2021-06-07 20:58:59
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
