如果想让中文目录下的文件正常显示,可使用下面的方法:#-*-coding:utf-8-*-import osfilenames = os.listdir('E:\迅雷下载'.decode('utf8').encode('gbk')) #返回一个list,只能通过分片返回结果值,decode...
分类:
其他好文 时间:
2015-05-20 20:22:39
阅读次数:
117
在这里收集下我自己对Mongodb的一些优缺点方面的认识,或者是通过其它比较可靠的网文上引用或者摘录的作为依据,这个是一个渐进的过程,也是随着我对Mongodb认识的加深而不断扩展的。(1)Mongodb的不足之处1、在集群分片中的数据分布不均匀2、单机可靠性比较差3、大数据量持续插入,写入性能有较...
分类:
数据库 时间:
2015-05-19 23:58:23
阅读次数:
1258
缓存设计上主要目标:
高可用,高性能,易用性,各业务模块缓存使用的隔离性
主要分为服务端设计与客户端使用
服务端设计架构:
负载均衡+twemproxy+redis集群是一种解决方案
由代理层twemproxy进行分片
客户端设计,保证易用性:
标准Spring Data Redis
Spring Data Redis是对Jedis的一个封装,提供@...
分类:
其他好文 时间:
2015-05-19 13:09:18
阅读次数:
128
# -*- coding:utf-8 -*-#定义一个字符串
strA = "str123ab"
print strA结果:str123ab#定义一个元祖
tupleB = ('str',1,2,3,'a','b')
print tupleB结果:('str', 1, 2, 3, 'a', 'b')#定义一个列表
listC = ['str',1,2,3,'a','b']
print listC结果...
分类:
编程语言 时间:
2015-05-18 20:48:54
阅读次数:
132
仲裁者(Arbiter)是复制集中的一个mongodb实例,它并不保存数据。仲裁节点使用最小的资源并且不需要特殊的设备,不能将Arbiter部署在用一个数据集节点中,可以部署在其他应用服务器或者监视服务器中,也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员(包括primary),需要添加仲裁节点做为投票,否则primary不能运行时不会自动切换primary。
一个复制集中...
分类:
数据库 时间:
2015-05-17 22:00:16
阅读次数:
300
What is RDD?
A Resilient Distributed Dataset(RDD),分布式弹性数据集,是Spark上的一个核心抽象
表示用于并行计算的,不可修改的,对数据集合进行分片的数据结构
在Spark上,针对各种各样的计算场景存在着各种各种的RDD,这些RDD拥有一些共同的操作,例如map,filter,persist等,就好像RDDs都是一个总RDD的子类一样,拥有所有...
分类:
其他好文 时间:
2015-05-17 13:47:42
阅读次数:
172
一直对ElasticSearch集群的重启有疑惑,因为每个结点重启时,ElasticSearch集群的高可用和自平衡方案会自动在别的结点上复制该重启结点的分片,这定然导致了很大的IO和网络开支。重启一次集群相当于对所有的分片重新部署了一次,而且依次重启结点的时间也很长,需等待集群平衡好了,处于green的状态后才能重启下一个结点。
还好ES本身已考虑了这个问题,官方文档中对于集群重启的解...
分类:
其他好文 时间:
2015-05-14 12:09:52
阅读次数:
864
准备工作
环境:
CentOS6.5 64位
MongoDB
3.0.1 64位
一、启动mongod服务
[root@localhost data]# /usr/local/mongodb3.0.1/bin/mongod --port 40144 --dbpath=/data/mongodb3.0.1/data/ --logpath=/data/mongodb3.0.1/...
分类:
数据库 时间:
2015-05-14 12:01:07
阅读次数:
261
mongodb中的复制可以在多台服务器中同步数据。
复制提供了冗余和增加了数据的高可用性,防止单个节点易丢失数据的可能性,也可以用来进行读写分离提高客户端操作性能。
复制集中各节点的mongodb实例有相同的数据集副本。主节点可以接收客户端所有写操作记录到日志中,从库复制主库的操作日志记录应用到其数据库中。
一个客户端只能有一个主节点,如果主节点不可用(10秒内无法连接),复制集中将...
分类:
数据库 时间:
2015-05-14 06:13:34
阅读次数:
192
官网:www.mongodb.org
中文社区:www.mongoing.com
在线教程:https://university.mongodb.com/
mongodb支持传统的master-slave架构。没有自动故障转移功能,需要指定master和slave端。强烈推荐使用复制集架构,复制集架构比复制架构更好维护,功能更强。
故障切换
复制集通过选举来从当前主节点不可用...
分类:
数据库 时间:
2015-05-13 16:47:49
阅读次数:
302