ZooKeeper 概述 Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中 应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。 ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系 统的目录树方式的数据存储，并且可以对树中的节点 ...
分类：
其他好文 时间：
2019-07-10 14:57:10
阅读次数：
88
单实例，当MongoDB单表数据文件太大导致写入速度变慢 解决办法（待测试）： 文件拆分成小文件。主要参数有 Storage options: --storageEngine arg what storage engine to use - defaults to wiredTiger if no ...
分类：
数据库 时间：
2019-07-09 13:31:41
阅读次数：
320
一般情况下windows网络共享与samba用户局域网网络共享.互联网中小型网站集群架构后端常用NFS进行数据共享.大型网站会用到更复杂的Moosefs(mfs)(小文件)GlusterFS(大文件)FastDFS(小文件).自行学习三个主服务rpc.nfsrpcbindrpc服务端1.yuminstall-ynfs-utils自动创建nfs-nobody2.开启rpcbind开启nfs加入开机启
分类：
其他好文 时间：
2019-07-04 09:47:40
阅读次数：
132
inode block 软硬链接 1 inode 1.1 inode（索引节点）作用 （1）用于存储文件数据属性信息（2）用于存储数据指针信息 1.2 如何产生 格式化时，创建文件系统 1.3 如何查看：df i 1.4 特点 （1）一个文件会占用一个inode（2）大量小文件会占用大量inode ...
分类：
其他好文 时间：
2019-07-04 09:21:11
阅读次数：
92
nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器，作为HTTP服务器的后起之秀，相比较于web服务器软件老大哥Apache有着很大的改进地方，主要在性能方面NGINX占用的系统资源更少，支持更多的并发连接数（特别是在静态小文件场景下），达到更高的访问效率。在功能上NGINX不但是个优秀的web服务器软件，还具有反向代理负载均衡，相当于LVS，Haproxy。缓存服务器相当于S
分类：
其他好文 时间：
2019-07-03 16:46:28
阅读次数：
129
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
其中--delete-before 接收者在传输之前进行删除操作 可以用来清空目录或文件，如下： 1、先建立一个空目录 mkdir /data/blank 2、用rsync删除目标目录 rsync --delete-before -d /data/blank/ /var/spool/clientmq ...
分类：
其他好文 时间：
2019-06-29 01:20:01
阅读次数：
140
最近项目有个需求,需要比较两个任意大小文件的内容是否相同,要求如下: 为了选出最优的解决方案,我搭建了一个简单的命令行工程,准备了两个大小为912MB的文件,并且这两个文件内容完全相同.在本文的最后,你可以看到该工程的Main方法的代码. 下面我们开始尝试各个比较方法,选出最优的解决方案: 比较两个 ...
分类：
Web程序 时间：
2019-06-23 01:17:44
阅读次数：
163
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp ...
分类：
其他好文 时间：
2019-06-21 09:29:38
阅读次数：
185
第五天课程大纲：1、社交粉丝的数据分析：求共同好友2、倒排索引的建立3、自定义inputFormat合并小文件 4、自定义outputformat5、分组求topN6、MapReduce的其他补充 了解7、mapreduce的参数优化 理解8、yarn的资源调度管理 例子1：社交粉丝数据分析 逻辑分 ...
分类：
其他好文 时间：
2019-06-16 00:21:34
阅读次数：
112
