在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点，通常异常点在预测问题中是不受开发者欢迎 ...
分类：
编程语言 时间：
2018-08-15 18:37:45
阅读次数：
198
1.问题动机 图1.飞机发动机检测例子 对飞机引擎的例子，如果选取了两个特征x1热量产生度，x2震动强度。并得到如下的图，如果有一个新的引擎来检测其是否正常，x_test，那么此时如果点落在和其他点正常内，那么就显示是正常，不需要进一步的检测，但是如果在右下角绿色的，那么就是异常的，需要进一步地检测 ...
分类：
其他好文 时间：
2018-08-11 18:56:38
阅读次数：
176
(1)涉及到的算法 1.监督学习：线性回归，逻辑回归，神经网络，SVM。 线性回归（下面第三行x0(i)其实是1，可以去掉） 逻辑回归 神经网络（写出前向传播即可，反向框架会自动计算） SVM 2.非监督学习：聚类算法(K-mean),降维(PCA) K-mean PCA 3.异常检测 4.推荐系统 ...
分类：
其他好文 时间：
2018-07-07 20:23:41
阅读次数：
177
现实生活中有许多需要提前预防一些异常问题出现的情况，例如在飞机起飞前，对飞机各部分进行评估，看发动机等各个零件是否性能正常，若有潜在的问题（可能出现异常情况），则需要及时检修或更换。 那么我们如何去评估异常是否存在呢？ 利用联合概率分布~ [TOC] 联合概率分布 $X表示一系列随机变量\{X_1, ...
分类：
编程语言 时间：
2018-07-07 15:43:16
阅读次数：
187
15.1问题的动机 将正常的样本绘制成图表（假设可以），如下图所示： 当新的测试样本同样绘制到图标上，如果偏离中心越远说明越可能不正常，使用某个可能性阈值，当低于正常可能性阈值时判断其为异常，然后做进一步的检查。异常检测常用于工业生产、异常用户等实际场景中。 以上这种方法叫密度评估： 15.2高斯分 ...
分类：
其他好文 时间：
2018-07-06 14:16:27
阅读次数：
145
几种不安全的网络系统的类型 （1） Individual malicious peers ：有些系统比如大部分WSN因为计算能力有限，电量有限、存储空间较小，造价不能太高等特点使得在实际中很多情况下无法应用一些异常检测技术和信任管理方法来查找和评估恶意节点。这种情况下恶意节点孤立地表现出恶意行为。这 ...
分类：
其他好文 时间：
2018-06-23 20:56:59
阅读次数：
208
驭龙HIDS是一款由 YSRC 开源的***检测系统，由 Agent， Daemon， Server 和 Web 四个部分组成。集异常检测、监控管理为一体，拥有异常行为发现、快速阻断、高级分析等功能，可从多个维度行为信息中发现***行为。
简单的讲，驭龙提供了一个OSSEC/OSSIM之外的开源HIDS选择。对于“一个人的安全部/没有钱的安全部”来说，是一个功能更丰富，二次开发门槛更低一些的“轮子”。
除了agent中涉及到驱动的部分是c写的，其他后端、web都是golang写的，天然跨平台。agent支持32位/64位win、linux环境，后端所依赖的Elasticsearch、MongoDB本身也支持多平台，所以后端部署在win、linux皆可。如果只有小几百个agent部署实例，最少单台机器就能支撑。
分类：
其他好文 时间：
2018-06-08 16:40:56
阅读次数：
1190
几个大的主题,主要是围绕无人机视觉的任务 0.无人机上的目标检测(faster RCNN,yolo3,SSD等算法) ; 无人机上的人体姿态识别; 1.无人机上的异常检测 2.无人机上的动作识别 3.无人机上的暴力检测 4.无人机上的异常交互检测 想法: 1.异常检测算法与张量结合 2.异常检测中聚 ...
分类：
其他好文 时间：
2018-06-08 12:08:53
阅读次数：
160
总结：不平衡数据的分类，（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他 ...
分类：
其他好文 时间：
2018-05-25 19:27:18
阅读次数：
587
公式实在不好敲呀，我拍了我笔记上的公式部分。原谅自己小学生的字体（太丑了）。 聚类属于无监督学习方法，典型的无监督学习方法还有密度估计和异常检测。 聚类任务：将数据集中的样本划分为若干个不相交的子集，每个子集为一个类。 性能指标（有效性指标）：类内相似度高，类间相似度低。 性能度量： （1）外部指标 ...
分类：
其他好文 时间：
2018-05-06 13:33:44
阅读次数：
155
