在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
中国的这些年喜欢搞概念，什么云计算大数据啊，国家支持，专家鼓吹，各大会议论坛精彩纷呈，热闹过后发现还是默默地在用国外的技术和平台，就如同PC操作系统没有我们的份，手机操作系统也没有我们的份，虽然我们是世界上电脑和手机拥有量最多并且人们最喜欢玩手机的国家，感觉我们的学术专家和行业大佬们就只会扯蛋，扯多了会痛，痛定思痛，痛何如哉！吃饱喝足后还是继续扯蛋。相当可悲，若大个中国，真正心平静气地去做研究和开...
分类：
移动开发 时间：
2014-06-20 11:37:26
阅读次数：
322
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
select*from(selectrownumr,a.*from(select*fromtable_nameorderbyndatetimedesc)awhererownum(currentPage-1)*pageSize
分类：
数据库 时间：
2014-06-09 22:55:20
阅读次数：
247
工作上经常会遇到处理大数据的问题，下面两个工具类，是在处理大数据时编写的；推荐的是使用map的方式处理两个list数据，如果遇到list相当大数据这个方法就起到了作用，当时处理了两个十万级的list，使用改方法的变种搞定。
1.txt文件、list集合比较工具
package com.hudong.util.other;
import java.util.Collection;
import...
分类：
其他好文 时间：
2014-06-08 18:14:05
阅读次数：
326
在系统日常生产过程中，如何从Oracle数据库同步一些配置表到GP库个问题。
先来说说之前使用的方式：
0. 使用第3方工具从Oracle导出纯文本格式，存放在本地；
1. 使用GP外部表加载入库
这种方式优点是对于需要同步大数据量的表的时候性能非常高；缺点是稍显麻烦，最主要的是非实时的，存在着任务调度周期和导出导入时间周期。
对此我的解决办法是简化整个过程并实时查询：
0. ...
分类：
数据库 时间：
2014-06-08 05:46:35
阅读次数：
251
单例对象：类是指用class定义的scala 对象， 如果用object替换class关键字， 那么这个就叫单例对象，sigleton object。 很难理解，下面使用三种使用校验和的方式来解释大家的疑问。...
分类：
其他好文 时间：
2014-06-08 05:31:40
阅读次数：
240
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
