在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
Git:目前世界上最先进的分布式版本控制系统。集中式版本控制系统：版本库是集中存放在中央服务器的，而干活的时候，用的都是自己的电脑，所以要先从中央服务器取得最新的版本，然后开始干活，干完活了，再把自己的活推送给中央服务器。中央服务器就好比是一个图书馆，你要改一本书，必须先从图书馆借出来，然后回到家自...
分类：
其他好文 时间：
2014-06-09 22:45:00
阅读次数：
303
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
Sun's Network File System...
分类：
其他好文 时间：
2014-06-08 15:21:30
阅读次数：
308
Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon
）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。
简介
memcached是一套分布式...
分类：
其他好文 时间：
2014-06-08 10:26:57
阅读次数：
226
SolrCloud是一种分布式解决方案，是基于zookeeper和solr的，可以简单理解为一种集群，可以提供分布式查询，分布式写索引。
SolrCloud的结构大致是这样的，一个SolrCloud包括多个Shared节点，一个Shared的包括Solr节点，其中每个Shared中的有一个Leader Solr节点，多个Replica节点。
每个SOLR节点的内容是一样的。...
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
Memcached
是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon
）是用C写的，但是客户端可以用任何语...
分类：
其他好文 时间：
2014-06-07 20:24:16
阅读次数：
191
开发基于BS模式的程序，都有报表模块，那么如何开发报表模块。1.定时发布报表数据到指定的临时表（可能是定时任务）2.用户通过HTTP请求后台，访问临时表，查询报表数据3.增加memcached缓存，再次访问是直接访问缓存。memcached原理：基于内存的缓存分布式系统，基于libevent（epo...
分类：
其他好文 时间：
2014-06-07 16:55:44
阅读次数：
272
