分片（sharding）是指将数据拆分，将其分散存在不同的机器上的过程。有事也用分区（partitioning）来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机既可以存储更多的数据，处理更大的负载。『MongoDB中的自动分片』MongoDB在分片之前要运行一个路由进程，该进程名...
分类：
数据库 时间：
2016-01-13 02:03:01
阅读次数：
248
按照上一节中《搭建高可用mongodb集群（三）—— 深入副本集》搭建后还有两个问题没有解决：从节点每个上面的数据都是对数据库全量拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器...
分类：
数据库 时间：
2016-01-12 15:32:35
阅读次数：
247
写在前面：mongodb是nosql非关系型数据库中，比较受欢迎的产品。在数据持久化及与关系型数据库的关联上也做的比较好，目前各大公司在存放二进制文件（图片、视频等）中应用也比较广泛。其遵循的key-value的数据模式及面向对象的json语句用法，也比较简单。在之后，会系列的跟大家分享，我在学习及...
分类：
数据库 时间：
2016-01-12 11:26:35
阅读次数：
456
今天，我终于相信了一句话：错误使人成长！在被一个小问题困住四天之后，我发现，我对代码熟悉了很多很多。以前，只知道怎么写，不知道为什么这么写的代码，经过查找错误的过程，也明白了。错误是这样：在libnids安装包的IP分片重组、TCP流重组程序移到PF_RING程序中时，我得不..
分类：
其他好文 时间：
2016-01-08 00:39:15
阅读次数：
182
split说明split()：拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表（list）split语法str.split('type',num)[n]整个语法的意思是：以type作为分隔符对字符串进行num次分片，并取第n个分片。如果没有type则以空格为分隔符，如果没有num...
分类：
其他好文 时间：
2016-01-07 16:36:11
阅读次数：
121
分片是mongoDB针对TB级别以上的数据量，采用的一种数据存储解决方案。本文描述了mongoDB分片的配置。
分类：
数据库 时间：
2016-01-07 13:22:58
阅读次数：
178
之前一篇写了关于 Redis 的性能，这篇就写写我认为比性能更重要的扩展性方面的主题。如果再给我一次回到好几年前的机会，对于使用 Redis 我一开始就要好好考虑将来的扩展问题。就像我们做数据库分库分表，一旦决策了分库分表，通常一次就会分到位，比如搞上 8 或 16 个库，每个库再分 256 或 1024 个表。不管将来业务再怎么发展，基本这个量级的分片都足够应对，而且底层库可以做成逻辑的，扛不住时...
分类：
其他好文 时间：
2016-01-05 07:13:46
阅读次数：
236
http://www.artima.com/scalazine/articles/pattern_matching.html这篇文章是odersky谈scala中的模式匹配的一段对话，我做了部分片段翻译(不是连贯的):模式可以嵌套，就像表达式嵌套，你可以定义深层的模式，通常一个模式看起来就像一个表达...
分类：
其他好文 时间：
2016-01-03 14:47:22
阅读次数：
125
窄依赖 narrow dependencymap,filter,union ,join(co-partitioned)制定了父RDD中的分片具体交给哪个唯一的子RDD并行的，RDD分片是独立的。只依赖相同ID的分片range分片one to dependencyrange dependency内部可...
分类：
其他好文 时间：
2015-12-29 16:08:02
阅读次数：
218
Computer EC2 – Virtual Servers in the Cloud EC2 Container Service – Run and Manage Docker Containers Elastic Beanstalk – Run and Manage Web Apps Lambd...
分类：
Web程序 时间：
2015-12-29 09:56:43
阅读次数：
194
