在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
网易公开课，第9课
notes，http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是，如何去评价和选择学习算法
Bias/variance tradeoff 还是用这组图，学习算法追求的是generalization error（对未知...
分类：
其他好文 时间：
2014-06-11 12:21:15
阅读次数：
445
摘要：近日，Robert
Seaton整理了100多个最有趣的数据集，其中包括Jeopardy真题，死囚的最后一句话，20万个Eclipse
Bug，足球比赛相关，柏拉图式的爱情，太阳系以外的行星，11.3万个恐怖事件等。【编者按】在数据爆发式增长的逼迫下，当下数据分析能力已得到长足的发展，机器学习...
分类：
系统相关 时间：
2014-06-11 09:25:52
阅读次数：
717
题目链接题意：给k对数，每对ai, ri。求一个最小的m值，令m%ai =
ri;分析：由于ai并不是两两互质的，
所以不能用中国剩余定理。只能两个两个的求。a1*x+r1=m=a2*y+r2联立得：a1*x-a2*y=r2-r1;设r=r2-r2;互质的模线性方程组m=r[i](mod
a[i])...
分类：
其他好文 时间：
2014-06-11 07:25:30
阅读次数：
203
快速幂运算在第一次训练时候就已经遇到过，这里不赘述
同余模运算也很简单，这里也不说了，无非是(a+b)%m (a*b)%m 把m弄到里面变成(a%m+b%m)%m (a%m*b%m)%m
今天学的最重要的还是递归二分求等比数列
题目大意是给出A和B，求A^B的约数和
解这个题，首先，对A进行素因子分解得到
(PI(pi^ai))^B
然后我们有约数和公式：
...
分类：
其他好文 时间：
2014-06-08 15:17:06
阅读次数：
257
决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。
决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表一个问题或决策，通常对应于待分类对象的属性。每一个叶子结点代表一种可能的分类结果。沿决策树从上到下遍历的过程中，在每个结点都会遇到一个测试，对每个结点上问题的不同的...
分类：
其他好文 时间：
2014-06-08 14:55:35
阅读次数：
254
Givennnon-negative integersa1,a2, ...,an, where
each represents a point at coordinate (i,ai).nvertical lines are drawn such that
the two endpoints of ...
分类：
其他好文 时间：
2014-06-07 23:03:35
阅读次数：
279
在理解了我们须要解决的机器学习问题之后，我们能够思考一下我们须要收集什么数据以及我们能够用什么算法。本文我们会过一遍最流行的机器学习算法，大致了解哪些方法可用，非常有帮助。机器学习领域有非常多算法，然后每种算法又有非常多延伸，所以对于一个特定问题，怎样确定一个正确的算法是非常困难的。本文中我想给你们...
分类：
其他好文 时间：
2014-06-07 21:27:22
阅读次数：
260
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
最近一段时间做了不少文本挖掘的项目和研究，正好总结一下文本挖掘预处理的流程，希望是干货。...
分类：
其他好文 时间：
2014-06-07 12:11:52
阅读次数：
238
