在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
select*from(selectrownumr,a.*from(select*fromtable_nameorderbyndatetimedesc)awhererownum(currentPage-1)*pageSize
分类：
数据库 时间：
2014-06-09 22:55:20
阅读次数：
247
题目描述：给定一个数字N，打印从1到最大的N位数此题需要注意以下几点：1.
涉及到大数问题，因为并没有限定 n的取值范围，所以需要采取 字符数组模拟大数运算2. 打印数字时 需要忽略前置03. 我们始终
以n位数为整体，n位所有十进制数其实是 n位从0到9的全排列，可以采用递归解决我们从 数组下标0...
分类：
其他好文 时间：
2014-06-09 16:09:48
阅读次数：
239
首先这一题会溢出，要考虑的大数问题。所以不能用简单的是int类型数来表示（32位无符号int
范围是0x00000000···0xFFFFFFFF），下面主要是非递归的实现代码，自己做了注释方便以后回顾。#include
"stdafx.h"#include using namespace std;...
分类：
其他好文 时间：
2014-06-09 15:10:07
阅读次数：
227
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
工作上经常会遇到处理大数据的问题，下面两个工具类，是在处理大数据时编写的；推荐的是使用map的方式处理两个list数据，如果遇到list相当大数据这个方法就起到了作用，当时处理了两个十万级的list，使用改方法的变种搞定。
1.txt文件、list集合比较工具
package com.hudong.util.other;
import java.util.Collection;
import...
分类：
其他好文 时间：
2014-06-08 18:14:05
阅读次数：
326
闲来没事，写了个acm中经常遇到的大数加减问题的java 解决代码，我想说，用java的BigInteger 很容易。大爱java!!
例如：
实现多组输入的大数加减问题：
import java.math.*;
import java.util.*;
public class Bignum {
public static void main(String[] args) {...
分类：
编程语言 时间：
2014-06-08 15:01:17
阅读次数：
252
求一个数组中的最大值和最小值，我们一般的做法是扫描一遍数组求的最大值，扫描一遍数组求最小值，这样做需要比较2N次才能求解。而实际上我们可以比较1.5N次即可得到结果。考虑如下几种方法。
方法一：
我们可以把数组分成两部分，首先按照顺序将数组中的相邻的两个数分在同一组，接着比较同一组中奇数位上的值和偶数位上的值，将较大的放在偶数位上，较小的放在奇数位上，这样经过0.5N次比较后，最大数肯定在偶数位上，最小的数肯定在奇数位上，而后分别扫描一遍数组的偶数位和奇数位，便可得到最大值和最小值。这样，...
分类：
其他好文 时间：
2014-06-08 14:42:42
阅读次数：
212
在系统日常生产过程中，如何从Oracle数据库同步一些配置表到GP库个问题。
先来说说之前使用的方式：
0. 使用第3方工具从Oracle导出纯文本格式，存放在本地；
1. 使用GP外部表加载入库
这种方式优点是对于需要同步大数据量的表的时候性能非常高；缺点是稍显麻烦，最主要的是非实时的，存在着任务调度周期和导出导入时间周期。
对此我的解决办法是简化整个过程并实时查询：
0. ...
分类：
数据库 时间：
2014-06-08 05:46:35
阅读次数：
251
