过拟合 在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模型，即使用已经产生的数据去训练，然后使用该模型去拟合未来的数据。但是一般独立同分布的假设往往不成立，即数据的分布可能会发生变化（di ...
分类：
其他好文 时间：
2017-07-22 12:05:06
阅读次数：
179
Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据。 Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或 ...
分类：
其他好文 时间：
2017-07-07 16:35:36
阅读次数：
130
Redis简介：Redis是一个开源的，面向键/值对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适合高并发的应用场景。并且提供多种语言的API 数据类型：string(字符串)，list(链表)，Hash(哈希)，set（集合），zset(sortedset)(有序集合) Redi ...
分类：
其他好文 时间：
2017-06-27 00:58:54
阅读次数：
162
无监督学习 1.无监督学习的目标： 利用无标签的数据学习数据的分布或数据与数据之间的关系被称为无监督学习。 1.有监督学习和无监督学习的最大区别在于数据是否有标签 2.无监督学习最常应用的场景是聚类(clustering)和降维(Dimension Reduction) 2.聚类(clusterin ...
分类：
其他好文 时间：
2017-06-04 18:43:10
阅读次数：
332
最近一直研究和看EM算法，尝试理解它的含义和用途，一直被人们称为“上帝的算法”，现在我就谈一下几点自己的看法。 它主要运用的场景应该是含有隐变量的地方，其中一个典型的情况就是混合高斯模型。用通俗的话来说，当一个模型很难描述数据的分布的情况时，需要多个模型的时候，便会引入隐变量的概念。一般问题，假设一 ...
分类：
编程语言 时间：
2017-06-02 09:46:16
阅读次数：
171
boxplot 用于绘制箱线图，我们都知道boxplot 用于展示一组数据的总体分布，在R语言中，支持两种输入数据的方式 第一种：x ， 这个参数指定用于绘制箱线图所用的数据，是一个向量 代码示例： 效果图如下： 第二种， 通多formala 和 data 两个参数指定，适合展示多组数据的分布 代码 ...
分类：
编程语言 时间：
2017-05-27 19:17:38
阅读次数：
2325
本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。 大数据技能 分布式大数据系统巧实现，全局数据调度管理不再难 作者：大数据史记 大规模数据的分布式机器学 ...
分类：
其他好文 时间：
2017-05-22 16:39:07
阅读次数：
211
转载请出自出处:http://www.cnblogs.com/hd3013779515/ 我们基于Solr4.10.3版本进行安装配置SolrCloud集群，通过实践来实现索引数据的分布存储和检索。 一、准备工作 1.服务器 solrcloud01 192.168.137.171 solrcloud... ...
分类：
其他好文 时间：
2017-05-21 01:02:24
阅读次数：
418
简介 k近邻法(k-nearest neighbors algorigthm) 是一种最基本的用于分类和回归的方法之一，当没有关于训练数据的分布时，首先最容易想到的就是采用k近邻法。 k近邻法输入为实例的特征向量，输出为实例的类别。算法思想是，给定训练数据集，对应输入空间的各个数据点，要判断一个新的 ...
分类：
其他好文 时间：
2017-05-13 18:10:51
阅读次数：
231
因为我们在大型互联网项目其中。用户訪问量比較大，比較多。会产生并发问题，对于此。我们该怎样解决呢。Redis横空出世，首先，我们来简单的认识一下Redis。具体介绍例如以下所看到的： Redis是一个开源的。使用C语言编写。面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能。持久存储 ...
分类：
其他好文 时间：
2017-05-07 14:56:55
阅读次数：
180
