首先是关于flume的基础介绍 组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据,运行在一个独立的线程。 Source源 从Client收集数据,传递给Channe ...
分类:
Web程序 时间:
2018-04-28 19:25:54
阅读次数:
336
Spark在运算过程中提供了一套完整的机制用来提高效率。 1. 用于收集信息的Accumulator,自带增量,用于spark全局收集数据;共享数据; 2. 用于提高传输速率的broadcast机制;如果需要将已知大对象比如上万条的List,这些多大几十M甚至更大对象如果传统作为Map对象的方式下放 ...
分类:
其他好文 时间:
2018-04-14 23:55:29
阅读次数:
353
这次开发功能是OEM统计报表。统计报表的数据由大数据平台部的同事收集,数据的展示由我们部门开发。 大数据那边使用 Kylin 分布式分析引擎(kylin官方文档)。 Kylin 虽比较偏向大数据相关,但最终大佬们决定把访问 Kylin 的 Dubbo 接口也由我们开发,比较坑。 解决方案一:Myba ...
分类:
编程语言 时间:
2018-03-31 13:17:29
阅读次数:
427
saltstack把执行的结果保存到mysql中,以便进行命令安全审计 mysql负责存储数据,mysql-python负责收集数据 master需要安装mysql和MySQL-python,minion端安装MySQL-python 系统环境 CentOS Linux release 7.4 ma ...
分类:
数据库 时间:
2018-03-26 00:44:38
阅读次数:
473
第一章: 经验之谈: 观察的数量太少、选择偏差、确认偏差、不准确 更好的做法-统计方法: 收集数据,使用大型全国性调查的数据 描述性统计,计算能总结数据的统计量 探索性数据分析,寻找模式、差异和其他能解决问题的而特征 假设检验,评判影响是否真实 估计,样本推断整体 术语: 经验之谈 个人随意收集的证 ...
分类:
其他好文 时间:
2018-03-20 21:41:21
阅读次数:
173
一、系统数据库information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息、列信息、权限信息、字符信息等performance_schema: MySQL 5.5开始新增一个数据库:主要用于收集数据库服务器性能参数,记录处理查询请求时发生的各种事件、锁等现象 mysql: 授权库,主要存储系统用户的权限信息test: MySQL数据库系统自
分类:
数据库 时间:
2018-03-20 19:40:30
阅读次数:
175
MySQL之库操作 一、库的简介 information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息、列信息、权限信息、字符信息等 performance_schema: MySQL 5.5开始新增一个数据库:主要用于收集数据库服务器性能参数,记录处理查询请 ...
分类:
数据库 时间:
2018-03-05 20:44:28
阅读次数:
160
一 系统数据库 information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息、列信息、权限信息、字符信息等performance_schema: MySQL 5.5开始新增一个数据库:主要用于收集数据库服务器性能参数,记录处理查询请求时发生的各种事件、 ...
分类:
数据库 时间:
2018-02-27 23:43:49
阅读次数:
194
一 系统数据库 information_schema: 虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息、列信息、权限信息、字符信息等performance_schema: MySQL 5.5开始新增一个数据库:主要用于收集数据库服务器性能参数,记录处理查询请求时发生的各种事件、 ...
分类:
数据库 时间:
2018-02-27 19:31:27
阅读次数:
199