前言 Spark作为计算引擎每天承载了大量的计算任务，为了监控集群的资源使用情况，对spark的监控也在所难免，Spark的监控有3个入口，1. Rest; 2.另一个是Metrics; 3. Log。 Rest 参考spark的rest接口文档 http://spark.apache.org/do ...
分类：
其他好文 时间：
2018-12-27 23:02:46
阅读次数：
172
前言 上面一节我们介绍了一元线性回归和多元线性回归的原理, 又通过一个案例对多元线性回归模型进一步了解, 其中谈到自变量之间存在高度相关, 容易产生多重共线性问题, 对于多重共线性问题的解决方法有: 删除自变量, 改变数据形式, 添加正则化项, 逐步回归, 主成分分析等. 今天我们来看看其中的添加正 ...
分类：
编程语言 时间：
2018-12-25 11:39:43
阅读次数：
1997
Prometheus的主要特点Prometheus 属于一站式监控告警平台，依赖少，功能齐全。Prometheus 支持对云的或容器的监控，其他系统主要对主机监控。Prometheus 数据查询语句表现力更强大，内置更强大的统计函数。Prometheus 在数据存储扩展性以及持久性上没有 Influ ...
分类：
其他好文 时间：
2018-12-24 16:13:07
阅读次数：
217
monosyllable 单音节词 2. READABILITY METRICS 第一个是个初级中级学习者 第二个会比别的给的难度分更高 第三个用的更广 unigram语言模型假设生成一个词的概率适合上下文无关的。虽然unigram模型在人类语言上效果不好，但是它们适合很多应用，有可以在小数据上训练 ...
分类：
其他好文 时间：
2018-12-20 18:42:28
阅读次数：
149
官方文档地址https://jmeter-plugins.org/wiki/PerfMon/ 启动JMeter，下载客户端插件： 服务端下载地址 https://github.com/undera/perfmon-agent/blob/master/README.md#supported-metri ...
分类：
其他好文 时间：
2018-12-18 21:23:27
阅读次数：
600
当执行一个搜索时，它将这个搜索请求广播给所有的索引分片。可以通过提供路由参数来控制要搜索哪些分片。例如，当检索tweets这个索引时，路由参数可以设置为用户名： 1. Search 查询可以提供一个简单的查询字符串作为参数，也可以用一个请求体。 1.1. URI Search 这种方式用的很少，就不 ...
Netflix Hystrix — 应对复杂分布式系统中的延时和故障容错 +应用场景 分布式系统中经常会出现某个基础服务不可用造成整个系统不可用的情况, 这种现象被称为服务雪崩效应. 为了应对服务雪崩, 一种常见的做法是手动服务降级. 而Hystrix的出现,给我们提供了另一种选择 Hystrix的 ...
分类：
编程语言 时间：
2018-12-14 10:57:12
阅读次数：
180
loki 是一个方便的类似prometheus 的log 系统，mtail 是一个方便的日志提取工具， 可以暴露为http 服务——支持导出prometheus metrics 环境准备 docker-compose 文件 version: "3" services: nginx-log: buil ...
分类：
其他好文 时间：
2018-12-14 00:53:29
阅读次数：
642
为什么要使用Turbine Turbine是聚合服务器发送事件流数据的一个工具，hystrix的监控中，只能监控单个节点，实际生产中都为集群，因此可以通过turbine来监控集群下hystrix的metrics情况，通过eureka来发现hystrix服务。 如何使用Turbine 前提 新建一个s ...
分类：
其他好文 时间：
2018-12-13 17:05:07
阅读次数：
168
混淆矩阵 from sklearn.metrics import confusion_matrix y_true = [2, 0, 2, 2, 0, 1] y_pred = [0, 0, 2, 2, 0, 2] confusion_matrix(y_true, y_pred) >>>array([ ...
分类：
其他好文 时间：
2018-12-10 13:50:26
阅读次数：
211
