在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为t ...
分类：
其他好文 时间：
2016-09-12 20:30:14
阅读次数：
205
今天用 cocos2dx3.11.1 + xcode7.3.1 进行开发，新建项目后遇到如下问题： 在iphone(ios9.3.5)真机运行项目（用xcode自带虚拟机没有出现问题） auto sprite = Sprite::create("HelloWorld.png"); 创建精灵后，spr ...
分类：
其他好文 时间：
2016-09-07 17:32:06
阅读次数：
205
gh-ost使用测试： gh-ost -host='192.168.65.136' -user=root -password='' -database='haha' -chunk-size=100000 -allow-on-master -execute -initially-drop-ghost- ...
分类：
数据库 时间：
2016-09-06 18:28:50
阅读次数：
1180
在mongodb 集群中，if 存在orphaned documents 和chunk migration， count查询可能会导致一个不正确的查询结果，例如我就是踩的这个坑，先不说话，看结果： skip 只能获取到54631，而count查出来了77396条数据，这就是坑，一样的查询条件，不一样 ...
分类：
数据库 时间：
2016-09-06 11:55:52
阅读次数：
607
创建一个空间大小为10G的raid5，要求其chunk为1024k，格式为ext4文件系统，开机可自动挂载至/backup目录，并支持acl功能；12345678910111213141516171819202122232425262728293031323334353637383940414243... ...
分类：
系统相关 时间：
2016-08-05 22:55:39
阅读次数：
308
1.什么是RAID？RAID是容错廉价磁盘阵列，可以将多个小磁盘整合为一个较大的磁盘设备，不仅可以扩大磁盘的容量，还可以实现数据保护。2.RAID等级RAID根据等级的不同，实现的功能和性能也有所不同RAID0至少需要两块磁盘，在写数据前现将数据分为等大小的区块（chunk）,然后将数据..
分类：
系统相关 时间：
2016-07-21 13:18:26
阅读次数：
299
目前常见的分布式文件系统有很多种，例如我之前一篇文章里面提到的Hadoop、FastDFS、Moosefs、PNFS(ParallelNFS）、Lustre、TFS、GFS、HDFS等等一系列。在众多的分布式文件系统解决方案中，MFS是搭建比较简单、使用起来也不需要过多的修改web程序，非常方便。MooseFS(MFS)是一..
分类：
其他好文 时间：
2016-07-11 01:38:40
阅读次数：
476
[局部变量] lua的局部变量通过local进行显示声明， 其作用域仅限于声明它的块block。这里的block分为三种类型： 1、控制结构的执行体 2、函数的执行体 3、chunk 比较容易引起混淆的地方是， 如果在一个文件（也就是一个chunk）里实现了一个class（面向对象的类），并且在这个 ...
分类：
其他好文 时间：
2016-07-05 15:31:46
阅读次数：
125
随着mongodb数据量的增多，可能会达到单个节点的存储能力限制，以及application较大的访问量也会导致单个节点无法承担，所以此时需要构建集群环境，并通过sharding方案将整个数据集拆分成多个更小的chunk，并分布在集群中多个mongod节点上，最终达到存储和负载能力扩容、压力分流的作 ...
分类：
数据库 时间：
2016-06-30 23:20:16
阅读次数：
297
软RAID需要内核支持md模块mdadm可以将任何块设备做成RAIDmdadm：模式化命令创建模式-C|--create-l|--level=:指定级别-c|--chunk=：指定数据块大小，默认为64，单位为K-n|--raid-devices=：指定设备数-a：自动创建设备文件，yes|no-s|--scanScanconfigfileor/proc/mdstatformiss..
分类：
其他好文 时间：
2016-06-25 23:14:10
阅读次数：
230
