在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类：
其他好文 时间：
2014-06-20 13:33:46
阅读次数：
151
下午
开启ssh服务：service sshd status
rsa:金融界的加密算法
exit
第一次exit是从ssh退出，第二次是退出终端
ssh hadoop0：使用ssh连接主机名为hadoop0(换成ip地址也行) 的机器
使用ssh和服务器（Linux）进行连接：ssh是加密的连接，相当于过了一圈，又回到了原点，但是是加密了的。
secure shell==s...
分类：
其他好文 时间：
2014-06-20 12:51:48
阅读次数：
253
摘要：Hadoop之MapReduce程序包括三个部分：Mapper，Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。...
分类：
其他好文 时间：
2014-06-20 12:32:07
阅读次数：
197
1. 简介
参见《Hadoop in Action》P102 以及 《Hadoop实战（第2版）》（陆嘉恒）P69
2. 案例
网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出，这里是Hadoop0.20.2版本，在该版本中已经实现了BloomFilter。
案例文件如下：
custome...
分类：
其他好文 时间：
2014-06-20 11:01:33
阅读次数：
197
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
link：http://blog.csdn.net/uniquechao/article/details/26449761版本信息：
hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接，出现
http ....
分类：
其他好文 时间：
2014-06-11 13:08:02
阅读次数：
385
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
关于hadoop1.X的安装，其实和0.x的基本没有多大的差别。...
分类：
其他好文 时间：
2014-06-07 14:57:07
阅读次数：
195
写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。写在前面二：使用软件说明：约定所有软件的存放目录：/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0...
分类：
其他好文 时间：
2014-06-07 13:33:43
阅读次数：
274
