Git:目前世界上最先进的分布式版本控制系统。集中式版本控制系统:版本库是集中存放在中央服务器的,而干活的时候,用的都是自己的电脑,所以要先从中央服务器取得最新的版本,然后开始干活,干完活了,再把自己的活推送给中央服务器。中央服务器就好比是一个图书馆,你要改一本书,必须先从图书馆借出来,然后回到家自...
分类:
其他好文 时间:
2014-06-09 22:45:00
阅读次数:
303
今天在本地机直接在触发器里更新还有一台服务器数据时出现:
MSDTC不可用解决的方法:在windows控制面版-->管理工具-->服务-->Distributed Transaction
Coordinator-->属性-->启动 1.A.不用事务,关用SELECT 语句.能否够分布式查询? B.L...
分类:
数据库 时间:
2014-06-08 21:13:20
阅读次数:
279
Erlang是一种并发编程语言(面向并发编程),它可以和分布式、多核/多处理器编程结合的天衣无缝。Erlang主要用来编写分布式的应用程序。下面看看Erlang开发环境的搭建。1.
http://www.erlang.org/download.html下载64位安装文件2. 把安装文件目录配置在环境...
Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
第一、爬虫及其行为方式
1.根集
2.连接的提取和相对链接的标准化
从页面提取出链接,然后把相对链接转化为绝对链接
3.避免环路的出现
4.循环和复制
5.记录爬过得链接
树和散列表有损的存在位图集群和索引
6.规范URL
7.避免循环和重复
规范URL广度优先的爬行节流:限制一段时间内机器人可以从一个WEB站点获取的页面的数量限制URL的大小URL/站点黑...
分类:
Web程序 时间:
2014-06-08 17:18:02
阅读次数:
264
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon
)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
简介
memcached是一套分布式...
分类:
其他好文 时间:
2014-06-08 10:26:57
阅读次数:
226
SolrCloud是一种分布式解决方案,是基于zookeeper和solr的,可以简单理解为一种集群,可以提供分布式查询,分布式写索引。
SolrCloud的结构大致是这样的,一个SolrCloud包括多个Shared节点,一个Shared的包括Solr节点,其中每个Shared中的有一个Leader Solr节点,多个Replica节点。
每个SOLR节点的内容是一样的。...
使用sqoop将MySQL数据库中的数据导入Hbase
前提:安装好 sqoop、hbase。
下载jbdc驱动:mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令:
sqoop import --connect j...
分类:
数据库 时间:
2014-06-08 08:23:30
阅读次数:
408
运行HBase时常会遇到个错误,我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:
其他好文 时间:
2014-06-08 03:02:50
阅读次数:
395