企业部署elk 通过loststash及filebeat系统全方位收集数据库，系统，网络设备，nginx等日志，方便对日志的监控与分析
分类：
其他好文 时间：
2019-11-03 14:51:42
阅读次数：
101
数据操作 一 、本章学习内容： 数据导入、存储 数据处理 数据操作最重要的一步也是第一步就是收集数据，而收集数据的方式有很多种，第一种就是我们已经将数据下载到了本地，在本地通过文件进行访问，第二种就是需要到网站的API处获取数据或者网页上爬取数据，还有一种可能就是你的公司里面有自己的数据库，直接访问 ...
分类：
其他好文 时间：
2019-10-26 17:36:58
阅读次数：
104
认识Beats Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你 ...
分类：
其他好文 时间：
2019-10-26 10:31:41
阅读次数：
98
一.机器收集数据 机器收集数据会从不同角度对数据进行抓取和采集，与之前手动收集数据不同，机器收集数据不再是用小样本、特定样本来采集和分析整体数据，而是采用大样本或整体数据进行分析，这打破了原来的数据分析模式，数据分析的精确度也大大提高。 二.机器收集数据的描述 1.网址采集【基于爬虫等技术，例如：S ...
分类：
其他好文 时间：
2019-10-20 17:46:15
阅读次数：
77
模型评估与参数调优实战： 通过对算法进行调优来构建性能良好的机器学习模型，并对模型的性能进行评估。 基于流水线的工作流： 在使用训练数据对模型进行拟合时就得到了一些参数，但将模型用于新数据时需重设这些参数。 scikit-learn中的Pipline类可以拟合出包含任意多个处理步骤的模型，并将模型用 ...
分类：
其他好文 时间：
2019-10-19 09:14:01
阅读次数：
80
一 系统数据库 information_schema： 虚拟库，不占用磁盘空间，存储的是数据库启动后的一些参数，如用户表信息、列信息、权限信息、字符信息等 performance_schema： MySQL 5.5开始新增一个数据库：主要用于收集数据库服务器性能参数，记录处理查询请求时发生的各种事件 ...
分类：
其他好文 时间：
2019-10-13 10:27:32
阅读次数：
63
1.1统计分析的基本概念 统计学是研究收集数据、整理数据，总结和分析数据中所蕴含的信息，并且据此得到结论以解决特定问题或者辅助决策的一门科学。 统计学研究的对象是数据，后者是用于得到结论或者做出决策所依据的“事实”或者“证据”。数据的一个重要特征是它的变动性。统计分析的目的之一就是描述数据的变动性。 ...
分类：
其他好文 时间：
2019-10-10 20:14:20
阅读次数：
100
在上一节中，我们了解到终端操作collect方法用于收集流中的元素，并放到不同类型的结果中，比如List、Set或者Map。其实collect方法可以接受各种Collectors接口的静态方法作为参数来实现更为强大的规约操作，比如查找最大值最小值，汇总，分区和分组等等。 准备工作 为了演示Colle ...
分类：
编程语言 时间：
2019-10-05 20:17:55
阅读次数：
100
一.概述 数据是对我们所研究现象的属性和特征的具体描述，在分析数据前必须要做的工作就是收集数据。按照存储形式可以将数据划分为结构化数据、非结构化数据和半结构化数据。 1.结构化数据 能够用数据或统一的格式加以表示，简单来说就是数据库。 2.非结构化数据 无法用数据或统一的结构加以表示，如视频、音频、 ...
分类：
其他好文 时间：
2019-10-02 20:44:53
阅读次数：
97
概述 这篇文章中，我们挑选了24个用于数据科学的Python库。 这些库有着不同的数据科学功能，例如数据收集，数据清理，数据探索，建模等，接下来我们会分类介绍。 您觉得我们还应该包含哪些Python库？让我们知道！ 这篇文章中，我们挑选了24个用于数据科学的Python库。 这些库有着不同的数据科学 ...
分类：
编程语言 时间：
2019-09-19 15:53:49
阅读次数：
93
