在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
1. 简介
参见《Hadoop in Action》P102 以及 《Hadoop实战（第2版）》（陆嘉恒）P69
2. 案例
网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出，这里是Hadoop0.20.2版本，在该版本中已经实现了BloomFilter。
案例文件如下：
custome...
分类：
其他好文 时间：
2014-06-20 11:01:33
阅读次数：
197
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
link：http://blog.csdn.net/uniquechao/article/details/26449761版本信息：
hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接，出现
http ....
分类：
其他好文 时间：
2014-06-11 13:08:02
阅读次数：
385
工作上经常会遇到处理大数据的问题，下面两个工具类，是在处理大数据时编写的；推荐的是使用map的方式处理两个list数据，如果遇到list相当大数据这个方法就起到了作用，当时处理了两个十万级的list，使用改方法的变种搞定。
1.txt文件、list集合比较工具
package com.hudong.util.other;
import java.util.Collection;
import...
分类：
其他好文 时间：
2014-06-08 18:14:05
阅读次数：
326
下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是apache官...
分类：
其他好文 时间：
2014-06-08 09:47:47
阅读次数：
292
系统版本：master:Ubuntu 14.04 salve1:Ubuntu
14.04hadoop: hadoop
2.2.01、系统配置以及安装SSH无密码登陆环境（master&slaves）：修改本机(master)和子节点(slaveN)机器名：打开/etc/hostname文件sudo
...
分类：
其他好文 时间：
2014-06-08 07:32:54
阅读次数：
310
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
关于hadoop1.X的安装，其实和0.x的基本没有多大的差别。...
分类：
其他好文 时间：
2014-06-07 14:57:07
阅读次数：
195
写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。写在前面二：使用软件说明：约定所有软件的存放目录：/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0...
分类：
其他好文 时间：
2014-06-07 13:33:43
阅读次数：
274
