本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一，降低用户接入门槛；如何让用户自助分析任务异常及失败原因，以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗，监控集群状况，监控异常任务等。 如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：78478943 ...
分类：
其他好文 时间：
2018-06-21 20:14:45
阅读次数：
158
1. Oracle 重新获取统计信息的命令 在重新获取统计信息之前可以先重建一下索引 2. SQLSERVER重建索引的语句比较简单,之前也copy过 sqlserver库 重新获取统计信息的方法 登录sa用户,修改LC用户的权限 增加 sysadmin GUI的方式为 增加上 sysadmin的r ...
分类：
数据库 时间：
2018-06-20 22:40:49
阅读次数：
245
在工作中会经常遇到一些mongodb的聚合操作，特此总结下。mongo存储的可以是复杂类型，比如数组、对象等mysql不善于处理的文档型结构，并且聚合的操作也比mysql复杂很多。db.collection.aggregate()是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成... ...
分类：
数据库 时间：
2018-06-20 00:03:08
阅读次数：
303
GoAccess 是一款开源的网站日志实时分析工具。GoAccess 的工作方式很容易理解，就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚 ...
分类：
数据库 时间：
2018-06-17 17:50:30
阅读次数：
205
#####1 如果每天产生一个分区， 1.10g库如果是一个日分区表，每天产生20到30万 笔数据，可以考虑采用分区复制的方式来缓解10g 晚上22点的统计信息造成的I/O 高峰期的 2.11g库可以采用“Incremental Statistic 的方式只收集增量数据。 https://blogs ...
分类：
其他好文 时间：
2018-06-17 16:51:11
阅读次数：
238
pidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。pidstat首次运行时显示自系统启动开始的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 实例讲解 默认参数 执 ...
分类：
系统相关 时间：
2018-06-15 21:41:19
阅读次数：
259
背景：需要测试监控各个操作系统平台机器上的cpu相关的各种统计信息 为了方便测试，我写了一个比较通用的shell脚本，目前可以兼容Redhat6+，Redhat7+，其他操作系统没测，可以实时监控机器上的cpu相关的各种统计信息。 1) cpu 指标由系统命令（mpstat 1 3）采集，根据最后一 ...
分类：
其他好文 时间：
2018-06-14 18:10:19
阅读次数：
140
oracle统计信息study oracle基础 基础 统计信息相关 1.哪种优化器模式需要统计信息收集,ALL_ROWS目前O3建议无论模式都进行统计信息收集，部分查询采取的是all_rows模式--查看当前数据库CBO优化方式，默认all_rows方式CBOshow parameter opti... ...
分类：
数据库 时间：
2018-06-10 18:31:59
阅读次数：
233
1.自动选项（自动关闭数据库、自动创建统计信息、自动收缩数据库） 2.可用性选项（数据库本身开关状态，数据库读写状态，数据库可访问性状态） 3.事务的隔离级别（不了解事务隔离级别的参考：（1）概念性理解 （2）sqlserver实操性:事务的隔离） READ UNCOMMITTED(未提交读,读脏) ...
分类：
数据库 时间：
2018-06-08 19:30:49
阅读次数：
197
一、复杂查询 1、 列出至少有一个员工的所有部门编号、名称，并统计出这些部门的平均工资、最低工资、最高工资。 1、确定所需要的数据表： emp表：可以查询出员工的数量； dept表：部门名称； emp表：统计信息； 2、确定已知的关联字段： emp.deptno=dept.deptno； 第一步：找 ...
分类：
数据库 时间：
2018-06-08 16:39:40
阅读次数：
222
