《算法导论》读书笔记之第16章 贪心算法—活动选择问题 前言：贪心算法也是用来解决最优化问题，将一个问题分成子问题，在现在子问题最优解的时，选择当前看起来是最优的解，期望通过所做的局部最优选择来产生一个全局最优解。书中先从活动选择问题来引入贪心算法，分别采用动态规划方法和贪心算法进行分析。本篇笔记给 ...
分类：
编程语言 时间：
2018-02-25 14:41:10
阅读次数：
309
应用举例： 主成分分析PCA 推荐系统 测度论 随机变量X的特征函数 凸优化问题 优化问题的目标函数及限制条件均为凸函数。 局部最优问题等价于全局最优。 凸优化问题求解工具（cvx等）。 凸集合 集合中两点的连线均在集合内 凸函数（与高数中的凸函数相反） 常见的： 凸组合 凸闭包 凸集合保凸运算 任 ...
分类：
其他好文 时间：
2018-02-19 10:28:02
阅读次数：
189
【机器学习详解】SMO算法剖析 转载请注明出处：http://blog.csdn.net/luoshixian099/article/details/51227754 CSDN?勿在浮沙筑高台 本文力求简化SMO的算法思想，毕竟自己理解有限，无奈还是要拿一堆公式推来推去，但是静下心看完本篇并随手推导 ...
分类：
编程语言 时间：
2018-02-04 00:26:32
阅读次数：
239
$模拟退火$ $这种全局最优的问题用模拟退火$ $模拟退火就是每次向四周随机移动，移动的幅度和温度成正比，如果新的位置更优就接受，否则按一定概率接收，概率和温度成正比$ $最后稳定后再在最优解附近蹦跶几下看看有没有更好的$ $你问我这是什么道理，我说无(我)可(不)奉(知)告(道)$ #includ ...
分类：
其他好文 时间：
2018-01-28 23:16:02
阅读次数：
202
对于背包问题算法的理解 01背包： 算是模板的代码： 其本质是遍历每一个物品，从满重量到该物品的重量，寻找当前最优解（max(dp[j],dp[j-weight[i]+value[i])（分别对应选和不选））对于遍历到每一个物品，dp[j]都是j重量下的最优解，然后不断更新dp数组，最后得出全局最优 ...
分类：
其他好文 时间：
2018-01-26 00:32:27
阅读次数：
166
1. 二分类问题 样本： ，训练样本包含 个； 其中 ，表示样本 包含 个特征； ，目标值属于0、1分类； 训练数据： 输入神经网络时样本数据的形状： 目标数据的形状： 2. logistic Regression 逻辑回归中，预测值： 其表示为1的概率，取值范围在 之间。 引入Sigmoid函数， ...
分类：
其他好文 时间：
2017-11-04 00:26:29
阅读次数：
347
昨天AlphaZero出了新闻，用了三天时间下赢了之前赢了李世石的AlphaGo。今天早上和高巍聊了一下，收获如下： 1.Zero的最主要革命性意义，是证明了在某种条件下，机器能够取代人类，给出全局最优解 这里指的某种条件有两个充分条件： 1）拥有既定规则 2）规则可以在机器范围内快速验证 2.由上 ...
分类：
其他好文 时间：
2017-10-20 13:26:36
阅读次数：
104
LDA算法最初的论文使用的是变分EM方法训练（Variational Inference）。该方法较为复杂，而且最后训练出的topic主题非全局最优分布，而是局部最优分布。后期发明了Collapsed Gibbs Sample方法，推导和使用较为简洁。 Latent Dirichlet Alloca ...
分类：
其他好文 时间：
2017-10-01 21:58:19
阅读次数：
221
这道题为简单题 题目： 思路： 遍历列表，找到局部最优m和全局最优n 代码： ...
分类：
其他好文 时间：
2017-09-22 00:40:06
阅读次数：
186
在求解机器学习算法的优化问题时，梯度下降是经常采用的方法之一。 梯度下降不一定能够找到全局最优解，有可能是一个局部最优解。但如果损失函数是凸函数，梯度下降法得到的一定是全局最优解。 梯度下降的相关概念： 1、步长或学习率（learning rate）：步长和学习率是一个东西，只是在不同的地方叫法不一 ...
分类：
其他好文 时间：
2017-09-17 21:04:27
阅读次数：
275
