超参数调优方法 网格搜索 通过查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网络搜索有很大概率找到全局最优值。然而，这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较多的时候，因此，在实际应用中，网格搜索法一般会使用较广的搜索范围和步长，来寻找全局最优值可能 ...
分类：
其他好文 时间：
2020-03-21 17:58:26
阅读次数：
67
模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而有效避免陷入局部最优并最终趋于全局最优的优化算法。 ...
分类：
编程语言 时间：
2020-02-15 10:07:38
阅读次数：
79
作为一种现代智能算法，蚁群算法不需要任何先验知识，最初只是随机地选择搜索路径，随着对解空间的了解，搜索更加具有规律性，并逐渐得到全局最优解。目前，蚁群算法已被成功地应用于求解旅行商问题、车辆调度问题以及指派问题等。。。 求解TSP： %% 第22章 蚁群算法的优化计算——旅行商问题(TSP)优化 % ...
分类：
编程语言 时间：
2020-02-12 20:40:04
阅读次数：
90
模拟退火算法基于Monte-Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。... ...
分类：
编程语言 时间：
2020-02-05 11:48:05
阅读次数：
88
谱聚类是基于谱图理论基础上的一种聚类方法，与传统的聚类方法相比: 具有在任意形状的样本空间上聚类并且收敛于全局最优解的优点。 通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据进行聚类的目的; 其本质是将聚类问题转换为图的最优划分问题，是一种点对聚类算法。谱聚类算法将数据集中的每个对 ...
分类：
其他好文 时间：
2020-01-01 20:18:49
阅读次数：
97
@ "TOC" 什么是回归算法 有监督算法 解释变量（x）与观测值（因变量y）之间的关系 最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性/数值向量 线性回归 最终要求是计算出 θ 的值，并选择最优的 θ值构成算法公式 可以写为 其中ε^(i)^是误差，独立同分布的，服从均值为0，方差 ...
分类：
编程语言 时间：
2019-12-31 12:25:18
阅读次数：
110
决策树的学习通常包含三个步骤：特征选择、树的生成、树的剪枝。决策树的生成采用启发式的方法，只考虑局部最优，相对地，决策树的剪枝则考虑全局最优 特征选择 信息增益 随机变量$X$的熵定义为： $$H(X)= \sum \limits_{i}p_i\log p_i$$ 熵越大，不确定性越大。从定义可验证 ...
分类：
其他好文 时间：
2019-11-24 15:58:13
阅读次数：
80
贪心算法 定义：在每一步选择中都进行当前状态下的最优解， 从而希望导致结果是最好算法。贪心算法在最优子结构问题中尤为有效。最优子结构的意思是局部最优解能决定全局最优解。举例：最小生成树的算法 (Prim MST、Kruskal MST、Dijkstra’s algorithm) 相比于动态规划 相同 ...
分类：
编程语言 时间：
2019-11-21 12:03:18
阅读次数：
94
目录： 个人理解 反悔贪心的分类 反悔自动机 反悔堆 例题简析及代码 一、个人理解： 贪心本身是没有反悔操作的，贪心求的就是当前的最优解。但当前的最优解有可能是局部最优解，而不是全局最优解，这时候就要进行反悔操作。 反悔操作 指的是这一步的贪心不是全局最优解，我们就退回去一步（人工或自动判断），换一 ...
分类：
其他好文 时间：
2019-10-30 22:53:29
阅读次数：
137
一 哈夫曼树 1.1 基本概念 + 算法思想 + "贪心算法" （以局部最优，谋求全局最优） + 示例 + 【树论：最优（二叉）数=带权路径最短的树】 + "哈夫曼（树）编码" + 【图论： "最小（代价）生成树" 】 + "普里姆算法（Prim）（加点法，归并点）" + "克鲁斯卡尔（Kruska ...
分类：
编程语言 时间：
2019-09-26 11:41:43
阅读次数：
151
