数据清洗： 1、异常值 1）基于概率分布，构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。 2）聚类，比如我们可以用KMeans聚类将训练样本分成若干个簇，如果某一个簇里的样本数很少，而且簇质心和其他所有的簇都很远，那么这个簇里面的样本极有可能是异常特征样本了。我们可 ...
分类：
其他好文 时间：
2019-09-01 15:04:45
阅读次数：
78
挖掘频繁模式、关联和相关性：基本概念和方法 频繁模式（frequent pattern）是频繁地出现在数据集中的模式（如项集、子序列或子结构）。 例如，频繁地同时出现在交易数据集中的商品（如牛奶和面包）的集合是频繁项集。 一个子序列，如首先购买PC，然后是数码相机，再后是内存卡，如果它频繁地出现在购 ...
分类：
其他好文 时间：
2019-08-31 23:05:30
阅读次数：
117
主要分一下方面： 客户分群实现：使用聚类构建指标，需理解聚类的分析逻辑，需使用软件：tableau、R 一、客户群集 1）连接文件： 2）过滤异常数据（消费金额大于0的数据） 3）创建【类平均购买价格】字段 4）创建散点图（排除负值和空值） 5）修改公式，将类平均价格由求和改为avg 6）进行客户分 ...
分类：
其他好文 时间：
2019-08-31 19:16:50
阅读次数：
238
最大最小距离和层次聚类算法的一个共同特点是某个模式一旦划分到某一类之后，在后续的算法过程中就不再改变了，而简单聚类算法中类心一旦选定后，在后继算法过程中也不再改变了。因此，这些方法效果一般不会太理想。 为解决该问题，可以采用动态聚类法: 使用动态聚类法的要点： 1. 确定模式和聚类的距离测度。当采用 ...
分类：
其他好文 时间：
2019-08-29 23:21:30
阅读次数：
119
k means算法在人群聚类场景中，是一个非常实用的工具。（该算法的原理可以参考 "K Means算法的Python实现" ) 常见调用方式 该算法常规的调用方式如下： 异常现象 常规情况下，以上处理后，会根据dataframe上的索引列顺序的 (0～8的数值)。 但是，我们在执行代码过程中，出现了 ...
分类：
编程语言 时间：
2019-08-27 23:31:05
阅读次数：
492
sklearn 机器学习的工具箱 sklearn功能模块 分类: 识别某个对象属于哪个类别 垃圾邮件监测, 图像识别 回归: 预测与对象相关联的连续值属性 >股价 聚类: 将相似对象自动分组 >客户细分, 分组实验结果 降维: 减少要考虑的随机变量的数量 >可视化 模型选择: 比较, 验证, 选择参 ...
分类：
其他好文 时间：
2019-08-25 16:07:30
阅读次数：
472
背景 YOLO v1检测效果不好，且无法应用于检测密集物体。 方法 YOLO v2是在YOLO v1的基础上，做出如下改进。 (1)引入很火的Batch Normalization，提高mAP和训练速度； (2)加入了Anchor Box机制，每个grid cell5个Anchor Box； (3) ...
分类：
其他好文 时间：
2019-08-20 11:06:49
阅读次数：
88
数据分析是指采用恰当的统计分析方法对收集来的大量数据进行分析，提取出有用信息同时形成结论，即对数据加以详细研究和概括总结的过程。数据分析需要掌握数学知识和分析工具，数学知识包含统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘；工具一般应该掌握Excel、SQL、R、Python等。需要学习掌握基本数据处理及分析方法，掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树
分类：
其他好文 时间：
2019-08-18 09:29:25
阅读次数：
99
聚类分析是在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。 此次我们学习聚类中的第一个算法——K-均值算法。K-均值算法本质就是重复将样本分配的类里面，不断的更新类的重心位置。 这里将围绕K-均值算法讨论目标优化、随机初始化和如何选择聚类数。 K-M ...
分类：
编程语言 时间：
2019-08-16 00:44:50
阅读次数：
112
