在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
应用需求：
由于网盘服务端既需要承载用户文件目录的监控又要负责文件的上传和下载，当某一时刻用户访问量较大或用户操作较为频繁是，单台文件监控服务器和文件传输服务器往往无法满足需求，极端情况下很可能造成服务器内存和CPU使用率爆表的情况，而且当Client与文件监控服务器间网络状况不好的情况下，很有可能造成用户操作序列的丢失，即用户在客户端的操作序列没有及时反映到服务端，造成用户本地...
分类：
其他好文 时间：
2014-06-20 13:42:20
阅读次数：
256
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
Sun's Network File System...
分类：
其他好文 时间：
2014-06-08 15:21:30
阅读次数：
308
Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon
）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。
简介
memcached是一套分布式...
分类：
其他好文 时间：
2014-06-08 10:26:57
阅读次数：
226
SolrCloud是一种分布式解决方案，是基于zookeeper和solr的，可以简单理解为一种集群，可以提供分布式查询，分布式写索引。
SolrCloud的结构大致是这样的，一个SolrCloud包括多个Shared节点，一个Shared的包括Solr节点，其中每个Shared中的有一个Leader Solr节点，多个Replica节点。
每个SOLR节点的内容是一样的。...
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
Memcached
是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon
）是用C写的，但是客户端可以用任何语...
分类：
其他好文 时间：
2014-06-07 20:24:16
阅读次数：
191
开发基于BS模式的程序，都有报表模块，那么如何开发报表模块。1.定时发布报表数据到指定的临时表（可能是定时任务）2.用户通过HTTP请求后台，访问临时表，查询报表数据3.增加memcached缓存，再次访问是直接访问缓存。memcached原理：基于内存的缓存分布式系统，基于libevent（epo...
分类：
其他好文 时间：
2014-06-07 16:55:44
阅读次数：
272
背景：
一致性Hash用于分布式缓存系统，将Key值映射到具体机器Ip上，并且增加和删除1台机器的数据移动量较小，对现网影响较小
实现：
1 Hash环：将节点的Hash值映射到一个Hash环中，每个Key顺时针第一个找到的节点，就是这个Key被路由到的机器
2 "虚拟节点"：将节点虚拟成多个"虚拟节点"分布在Hash环上，使得分布更均匀，扩缩容影响较小...
分类：
其他好文 时间：
2014-06-07 14:26:39
阅读次数：
256
