在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
应用需求：
由于网盘服务端既需要承载用户文件目录的监控又要负责文件的上传和下载，当某一时刻用户访问量较大或用户操作较为频繁是，单台文件监控服务器和文件传输服务器往往无法满足需求，极端情况下很可能造成服务器内存和CPU使用率爆表的情况，而且当Client与文件监控服务器间网络状况不好的情况下，很有可能造成用户操作序列的丢失，即用户在客户端的操作序列没有及时反映到服务端，造成用户本地...
分类：
其他好文 时间：
2014-06-20 13:42:20
阅读次数：
256
摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类：
其他好文 时间：
2014-06-20 13:33:46
阅读次数：
151
本文出自：http://blog.csdn.net/svitter
引文出自：http://bbs.chinaunix.net/thread-775649-1-1.html
1.关闭服务 service 服务 stop
netstat -ntlp
kill -9 PID
2.使用两个方法
1.
ps aux|grep 端口
kill -9 PID
2.
iptables...
分类：
系统相关 时间：
2014-06-20 13:08:31
阅读次数：
324
下午
开启ssh服务：service sshd status
rsa:金融界的加密算法
exit
第一次exit是从ssh退出，第二次是退出终端
ssh hadoop0：使用ssh连接主机名为hadoop0(换成ip地址也行) 的机器
使用ssh和服务器（Linux）进行连接：ssh是加密的连接，相当于过了一圈，又回到了原点，但是是加密了的。
secure shell==s...
分类：
其他好文 时间：
2014-06-20 12:51:48
阅读次数：
253
Server Error in '/myapp' Application.Parser ErrorDescription: An error occurred during the parsing of a resource required to service this request. Please review the following specific parse error deta...
分类：
Web程序 时间：
2014-06-20 11:15:55
阅读次数：
279
首先，核心函数是这个
function mHash($key){
$md=substr(md5($key),0,8);
$seed=31;
$hash=0;
for($i=0;$i
$hash=$hash*$seed+ord($md5{$i});
}
return $hash & 0x7FFFFFFF;
}
class HashServer{
private $serve...
分类：
Web程序 时间：
2014-06-20 10:36:06
阅读次数：
213
前几天开发中遇到了一个问题，在进行调试的过程中发现配置在service层的事务不起作用，抛出异常后数据库的更新还是成功了，事务并没有回滚，然后就开始各种检查，查看spring的事务是否配置正确，进入更新方法时是否开启了事务，经过检查之后发现一切都正常，那为什么事务不回滚呢？...
分类：
数据库 时间：
2014-06-20 09:34:47
阅读次数：
252
[支持main方法测试]ResourceBundle resourceBundle =
ResourceBundle.getBundle("service"); String url =
resourceBundle.getString("serviceid"); System.out.prin.....
分类：
其他好文 时间：
2014-06-12 00:17:57
阅读次数：
201
背景：
一致性Hash用于分布式缓存系统，将Key值映射到具体机器Ip上，并且增加和删除1台机器的数据移动量较小，对现网影响较小
实现：
1 Hash环：将节点的Hash值映射到一个Hash环中，每个Key顺时针第一个找到的节点，就是这个Key被路由到的机器
2 "虚拟节点"：将节点虚拟成多个"虚拟节点"分布在Hash环上，使得分布更均匀，扩缩容影响较小...
分类：
其他好文 时间：
2014-06-07 14:26:39
阅读次数：
256
