启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计 ...
分类：
其他好文 时间：
2017-08-17 14:26:18
阅读次数：
321
Spark中定义的损失函数及梯度，在看源代码之前，先回想一下机器学习中定义了哪些损失函数，毕竟梯度求解是为优化求解损失函数服务的。监督学习问题是在如果空间F中选取模型f作为决策函数。对于给定的输入X，由f(X)给出对应的输出Y,这个输出的预測值f(X)与真实值Y可能一致也可能不一致，用一个损失函数( ...
分类：
编程语言 时间：
2017-08-17 12:55:56
阅读次数：
315
欢迎访问~原文出处——博客园-zhouzhendong 去博客园看该题解 题目传送门 - POJ1151 题意概括 给出n个矩形，求他们的面积并。 n<=100 题解 数据范围极小。 我们分3种算法逐步优化。 算法1： O(n3) 如果这n个矩形的坐标都是整数，而且比较小，那么我们显然可以用最暴力的 ...
分类：
其他好文 时间：
2017-08-15 16:28:44
阅读次数：
186
原创性声明：下面代码是本人改写自C#语言编写的软件改写自PhotoSprite （Version 3.0 。2006。由 联骏 编写）。由使用OpenCV300编写。 先看一下效果 算法未作不论什么优化，优化算法能够看Photoshop 油画效果滤镜。 算法原理也不用细说了，源代码之前，了无秘密。 ...
分类：
其他好文 时间：
2017-08-05 10:54:58
阅读次数：
193
转自：http://www.dataguru.cn/article-10174-1.html 梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但 ...
分类：
编程语言 时间：
2017-07-27 20:31:41
阅读次数：
307
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下。这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-07-16 19:17:25
阅读次数：
146
Ref: 线性收敛的随机优化算法 之 SAG、SVRG 很多常见的机器学习模型的目标（比如最小二乘做线性回归、逻辑回归）都可以概括成以下这种一般形式： 其中 代表样本的损失函数，是模型的参数，代表正则化项（用于控制模型复杂度或者模型稀疏度等等），有些时候这个正则化项是不平滑的，也就是说它可能不可导。 ...
分类：
其他好文 时间：
2017-07-12 20:12:50
阅读次数：
629
梯度下降法 梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为： 可以看出，梯度下降法更新参数的方式为目标函数在当前参数取值下的梯度值，前面再加上一个步长控制参数alpha。梯度下降法通常用一个三维图来展示，迭代过程就好像在不断地下坡，最终到达坡底。为 ...
分类：
编程语言 时间：
2017-07-11 19:23:41
阅读次数：
160
Edit → language templates ： 打开即可查看基本语法。 一、xilinx中的约束文件 1、约束的分类 利用FPGA进行系统设计常用的约束主要分为3类。 （1）时序约束：主要用于规范设计的时序行为，表达设计者期望满足的时序条件，知道综合和布局布线阶段的优化算法等。 （2）布局布 ...
分类：
其他好文 时间：
2017-07-01 13:37:44
阅读次数：
374
