第三百五十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection) Scrapy提供了方便的收集数据的机制。数据以key/value方式存储，值大多是计数值。 该机制叫做数据收集器(Stats Collector)，可以通过 Crawler API 的属 ...
分类：
编程语言 时间：
2017-08-26 13:44:15
阅读次数：
1239
名词说明： 统计学：用以收集数据、分析数据，由数据得出结论的一组概念、原则和方法。 概率：是一个取值于0和1之间的数，告诉我们某一特定的事件以多大的机会发生。 变量：是指一个可以取两个或更多个可能值的特征、特质或属性。 变量的值：通常是对某一特定单元的度量，这种单元常常被视为一个个体element。 ...
分类：
其他好文 时间：
2017-08-13 17:37:16
阅读次数：
136
zabbix_server端当主机数量过多的时候，由Server端去收集数据，Zabbix会出现严重的性能问题，主要表现如下：1、当被监控端到达一个量级的时候，Web操作很卡，容易出现5022、图层断裂3、开启的进程（Pollar）太多，即使减少item数量，以后加入一定量的机器也会有问题所以下面主..
分类：
其他好文 时间：
2017-08-11 16:06:13
阅读次数：
193
Logistic回归一般过程： 1）收集数据 2）准备数据：数据类型为数值型（需要进行距离计算），最好为结构化数据格式 3）分析数据 4）训练算法：目的是为了找出最佳的分类回归系数 5）测试算法：训练结束后，分类将会很快。 6）使用算法：首先，将输入的数据转换成对应的结构化数据；然后，基于训练好的回 ...
分类：
其他好文 时间：
2017-07-29 23:12:32
阅读次数：
156
这是一篇关于Java内存结构组织的文章，涉及的概念主要有方法区、Java栈、java堆。通过这个文章，可以加深对Java对象的理解，以及优化代码的结构。 开始： 想写这篇总结酝酿了有个来月了，却始终感觉还差点什么东西，一直未敢动笔。 最近两天连夜奋战，重新整理下前面查阅的资料、笔记，还是决定将它写出 ...
分类：
编程语言 时间：
2017-07-21 10:25:47
阅读次数：
115
1. 算法及解决问题介绍 2. 开发机器学习程序的基本步骤： 1）收集数据。 2）准备输入数据。保证格式相符。 3）分析输入数据。保证数据有效性。 4）训练算法。 3. 开发环境 1）python 2）Numpy函数库 ...
分类：
其他好文 时间：
2017-07-17 20:04:02
阅读次数：
172
MySql5.6启动内存近500M，如在小型机内存敏感的环境可能较大，下边配置会减少较多内存，至150M以下。 注： 【PERFORMANCE_SCHEMA】：MySQL 5.5新增一个存储引擎：命名PERFORMANCE_SCHEMA ,主要用于收集数据库服务器性能参数。MySQL用户是不能创建存 ...
分类：
数据库 时间：
2017-07-17 14:08:46
阅读次数：
174
一.简介 决策树的一个重要任务是理解数据中蕴含的知识信息。 决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点：可能产生过度匹配的问题。 适用数据类型：数值型和标称型。 二. 决策树的一般流程 1.收集数据：可以使用任何方法。 2.准备数据：树构造算法 ...
分类：
编程语言 时间：
2017-07-17 12:30:48
阅读次数：
275
一、什么是类库 类库(Class Library)是一个综合性的面向对象的可重用类型集合，这些类型包括：接口、抽象类和具体类。类库可以解决一系列常见编程任务（包括诸如字符串管理、数据收集、数据库连接以及文件访问等任务），还可以解决多种专用开发任务（控制台应用程序、桌面应用程序、WEB应用程序等）。 ...
分类：
其他好文 时间：
2017-07-14 00:32:20
阅读次数：
182
数据挖掘 1、定义： 数据挖掘（Data Mining）是有组织有目的地收集数据，通过分析数据使之成为信息，从而在大量数据中寻找潜在规律以形成规则或知识的技术。 2、数据挖掘与机器学习的关系： 机器学习可以用来作为数据挖掘的一种工具或手段； 数据挖掘的手段不限于机器学习，譬如还有诸如统计学等众多方法 ...
分类：
其他好文 时间：
2017-07-10 22:26:02
阅读次数：
269
