HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
java
对mongodb的操作1.1连单台mongodbMongomg=newMongo();//默认连本机127.0.0.1端口为27017Mongomg=newMongo(ip);//可以指定ip端口默认为27017Mongomg=newMongo(ip,port);//也可以指定ip及端口号...
分类：
数据库 时间：
2014-05-26 16:41:59
阅读次数：
341
最近项目在做网站用户数据新访客统计，数据存储在MongoDB中，统计的数据其实也并不是很大，1000W上下，但是公司只配给我4G内存的电脑，让我程序跑起来气喘吁吁...很是疲惫不堪。
最常见的问题莫过于查询MongoDB内存溢出，没办法只能分页查询。这种思想大家可能都会想到，但是如何分页，确实多有门道！
网上用的最多的，也是最常见的分页采用的是skip+limit这种组合方式，...
分类：
数据库 时间：
2014-05-26 04:13:29
阅读次数：
399
MongoDB的下载路径：http://www.mongodb.org/downloads安装方法：比如这里我保存到D:\MongoDB\下，并以管理员身份运行CMD，然后把这段代码复制进去C:\windows\system32>mongod
--logpath D:\MongoDB\Logs\Mo...
分类：
数据库 时间：
2014-05-26 00:29:59
阅读次数：
373
1. 环境准备，不支持XP系统，需要在Windows7及以上和windows server 2008
系统上安装。2. 下载安装包：http://www.mongodb.org/downloads， 根据环境下载对应的安装包。3.
下载完成后双击运行，默认安装目录为C:\Program Files\...
分类：
数据库 时间：
2014-05-25 23:35:31
阅读次数：
407
昨天同事在做主从时，从库报如下错误：Got fatal error 1236 from master when reading data from binary log: 'Misconfigured master - server id was not set'粗粗看好像是master的server-id没有设置，但同事做如下查询：备库采集：
root@localhost Fri May 23 ...
分类：
数据库 时间：
2014-05-25 09:57:24
阅读次数：
330
一开始时，为了省服务器，把Mongodb和Redis放在一个服务器上。网站每到高峰期都特别卡，还经常出现502。找了很久的原因，发现硬盘的写数据很大，IOPS也很高，排查了很多原因都没找到。然后再仔细研究监控，发现写硬盘的操作很有规律，每隔几分钟就有一次频繁的写硬盘，联想到Redis同步数据到硬盘的间隔就是几分钟，所以开始怀疑是Redis引起的。于是加了一台服务器，把Redis单独放在那里，发现网...
分类：
数据库 时间：
2014-05-24 19:38:43
阅读次数：
302
一、实验目的：1.跨越互联网加密复制mysql基于SSL加密连接，为安全从服配置证书，从服拿账号到主服复制时，必须得到主服验证。双方建立SSL会话。二、实验架构在分布式架构中，时间必须同步主节点:station20:192.168.1.20从节点:station21:192.168.1.21三、实验步骤1.建立ssh互..
分类：
数据库 时间：
2014-05-24 16:49:58
阅读次数：
749
一、实验目的：mysql在主从复制还支持半同步复制，mysql复制是异步的，因为同步性能非常差。主库分发事件以后必须等待从库复制数据结束并收到从库正常响应以后，才能进行下一步操作。异步模式导致从库落后主库时，主库无从得知。因此mysql5.5后引入google补丁半同步复制，2个插..
分类：
数据库 时间：
2014-05-24 16:45:48
阅读次数：
415
参考文章http://blog.sina.com.cn/s/blog_a57562c80101ic47.htmlhttp://blog.csdn.net/cheng168520/article/details/4312828http://blog.sina.com.cn/s/blog_7f395ece0100ti5y.html以前在自己本机上安装过一个Linux，后台应为系统崩溃，以前配置的开机启动脚本、数据库主从双备..
分类：
系统相关 时间：
2014-05-24 15:24:20
阅读次数：
415
