在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
应用需求：
由于网盘服务端既需要承载用户文件目录的监控又要负责文件的上传和下载，当某一时刻用户访问量较大或用户操作较为频繁是，单台文件监控服务器和文件传输服务器往往无法满足需求，极端情况下很可能造成服务器内存和CPU使用率爆表的情况，而且当Client与文件监控服务器间网络状况不好的情况下，很有可能造成用户操作序列的丢失，即用户在客户端的操作序列没有及时反映到服务端，造成用户本地...
分类：
其他好文 时间：
2014-06-20 13:42:20
阅读次数：
256
摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类：
其他好文 时间：
2014-06-20 13:33:46
阅读次数：
151
下午
开启ssh服务：service sshd status
rsa:金融界的加密算法
exit
第一次exit是从ssh退出，第二次是退出终端
ssh hadoop0：使用ssh连接主机名为hadoop0(换成ip地址也行) 的机器
使用ssh和服务器（Linux）进行连接：ssh是加密的连接，相当于过了一圈，又回到了原点，但是是加密了的。
secure shell==s...
分类：
其他好文 时间：
2014-06-20 12:51:48
阅读次数：
253
1. 简介
参见《Hadoop in Action》P102 以及 《Hadoop实战（第2版）》（陆嘉恒）P69
2. 案例
网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出，这里是Hadoop0.20.2版本，在该版本中已经实现了BloomFilter。
案例文件如下：
custome...
分类：
其他好文 时间：
2014-06-20 11:01:33
阅读次数：
197
LVS-master:192.168.0.210LVS-backup:192.168.0.211LVS-VIP:192.168.0.209nginx+tomcat:192.168.0.212nginx+tomcat:192.168.0.227安装nginx所需包：Nginx-1.6.0.tar.gz...
分类：
Web程序 时间：
2014-06-13 14:26:32
阅读次数：
1757
关于hadoop1.X的安装，其实和0.x的基本没有多大的差别。...
分类：
其他好文 时间：
2014-06-07 14:57:07
阅读次数：
195
背景：
一致性Hash用于分布式缓存系统，将Key值映射到具体机器Ip上，并且增加和删除1台机器的数据移动量较小，对现网影响较小
实现：
1 Hash环：将节点的Hash值映射到一个Hash环中，每个Key顺时针第一个找到的节点，就是这个Key被路由到的机器
2 "虚拟节点"：将节点虚拟成多个"虚拟节点"分布在Hash环上，使得分布更均匀，扩缩容影响较小...
分类：
其他好文 时间：
2014-06-07 14:26:39
阅读次数：
256
下图是启动weblogic时的报错，集群的每个节点启动都报相同的错误：（据说这个错会直接浪费应用服务器30%的性能）
从weblogic console看下JDK版本：1.5.0_12
从服务器看自己安装的JDK版本：1.6.0_22
综上两点初步分析：此错误可能是weblogic自带的JDK版本与自己安装的JDK版本不一致引起的！
解决思路：需要修...
分类：
Web程序 时间：
2014-06-07 14:00:51
阅读次数：
368
写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。写在前面二：使用软件说明：约定所有软件的存放目录：/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0...
分类：
其他好文 时间：
2014-06-07 13:33:43
阅读次数：
274
