一、异常数据挖掘简介：
异常数据挖掘，又称为离群点分析或者孤立点挖掘。在人们对数据进行分析处理的过程中，经常会遇到少量这样的数据，它们与数据一般模式不一致，或者说与大多数样相比有些不一样。我们称这样的数据为异常数据，对异常数据的处理在某些领域很有价值，例如在网络安全领域，可以利用异常数据挖掘来分析网络中的异常行为；在金融领域异常数据挖掘可以识别信用卡的欺诈交易、股市的操控行为、会计...
分类：
其他好文 时间：
2015-02-11 22:04:23
阅读次数：
608
当数据用来作为定期连续测量时，它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。 这种弹性是通过AutoScaling组进行采集处理，Amazon Elastic MapReduce定时作业的AWS数据管道，系统间数据编排的AWS数据管道，大规模数据分析的AmazonRedshift来实现的。关键架构要素包括用于消息缓冲的SQS，它减少了频繁AWS数据管道调度...
分类：
其他好文 时间：
2015-02-05 20:28:02
阅读次数：
179
对时间序列的预测，用的最多的是指数平滑算法，算法不复杂。首先理解一个基本公式： 指数平滑法的基本公式是： 式中，St--时间t的平滑值；yt--时间t的实际值；St ? 1--时间t-1的平滑值；a--平滑常数，其取值范围为[0,1]；说明：1. 此公式用t-1时刻的平滑值和t时刻的hi实际值来计算t时刻的平滑值2. a是系数，越接近1的话，远期数据对于计算结果影响越小，越接近0,则影响越大用ne...
分类：
编程语言 时间：
2015-02-02 18:03:26
阅读次数：
323
最近要用ARIMA模型预测用户的数量变化，所以调研了一下ARIMA模型，最后用JAVA实现了ARIMA算法。
一、ARIMA原理
ARIMA的原理主要参考的是ARIMA原理。
二、JAVA实现
弄懂了原理，用JAVA进行了实现，主要参考的步骤是ARIMA实现步骤，
JAVA代码如下package arima;
import java.util.*;
public class AR {...
分类：
编程语言 时间：
2015-01-26 15:16:52
阅读次数：
1148
最近做数据挖掘相关的工作，题目是时间序列聚类研究，目前对于这方面的研究都还只是在起步阶段，被广泛使用的还是基于K-MEDOIDS的聚类，放弃K-MEANS的主要原因还是时间序列之间序列的计算难度，对于这方面我们也已经有了一定的进展，不过也还是有很多的问题。把基于DTW与K-MEDOIDS的时间序列聚...
分类：
编程语言 时间：
2015-01-12 22:14:56
阅读次数：
400
ARIMA模型
前面讲到的指数平滑模型，对于预测误差要求是无相关性并且结果是满足以0为中心的正态分布的。对时间序列作分析是，有些情况下，把相关性考虑进去能做更好的预测。ARIMA模型就包含了对时间序列的无规律部分做预测的模型，在无规律部分，允许出现非零相关性。
对时间序列做差分
ARIMA模型是针对稳定时间序列的。若是你的分析对象是非稳定的时间序列，那么你首先就需要对时间序列做差分，直...
分类：
编程语言 时间：
2015-01-05 18:50:10
阅读次数：
626
问题：存储一个日期的序列，例如保存用户一年的登录时间序列，20140201，20130102这样两个日期，如果用INT那么需要八个字节，用STRING就更多了。解决：通过bit来存储一天，具体的组织形式是这样的struct daybits { Year[] before_years; Year[.....
分类：
其他好文 时间：
2015-01-04 16:38:13
阅读次数：
133
1、长时间序列中国NDVI数据GIMMS（下载地址：寒区旱区科学数据中心）,提供Albers投影的tif格式数据集。
2、长时间序列全球NDVI数据GIMMS 3g（下载地址：Ecocast），元数据无投影，格式为VI3g，IE浏览器下载的为.txt格式。GIS软件无法直接打开，Envi
5.1打开，参照：ENVI5.1中快速打开及处理GIMMS数据。
Envi5.1中打开...
注意：输入ROI MASK 时 截图要保留功能连接-结果出来的是时间序列与相关系数矩阵相关系数矩阵对称位置的数是相同的 因为功能连接没有方向性但是顺序性一定要明确，因此输入ROI MASK时顺序一定要注意
分类：
其他好文 时间：
2014-12-24 11:29:34
阅读次数：
187
