本文来自于《计算机体系结构——量化研究方法》的课程实验的实验总结
我设计Cache模拟器完成了基本要求：设置Cache总大小和块大小、设置映射机制、设置替换策略、设置写策略，也完成了所有较高要求：能把Cache分为数据Cache和指令Cache、能设置预取策略、能设置写不命中调块策略并且有UI界面。...
分类：
编程语言 时间：
2015-05-09 08:54:54
阅读次数：
258
对文件系统而言，文件仅是一系列可读写的数据块。文件系统并不需要了解数据块应该放到物理介质上什么位置。这些都是设备驱动的任务。无论何时，只要文件系统需要从包含它的块设备中读取信息或数据，它就将请求底层的设备驱动读取一个基本块大小整数倍的数据块。EXT2文件系统将它所使用的逻辑分区划分成数据块组。每个数...
分类：
其他好文 时间：
2015-05-09 01:18:19
阅读次数：
221
项目环境中遇到的小文件较多，起初除了NAMENODE的内存外，还是比较担心文件物理空间的占用。于是就看一下，小文件是如何占用物理空间的：前提：HDFS块大小为64MB文件副本总共3份1、批量生成小文件（均20M）2、记录测试前DFS空间使用情况目前，DFS空间已经使用50.04GB3、向HIVE..
分类：
其他好文 时间：
2015-05-07 01:08:36
阅读次数：
200
北大青鸟的实验项目实验任务：使用Linux的RHEL6.5版本64位的操作系统搭建web服务器，创建RAID5卷并挂载到web目录下。实验过程：1、创建RHEL6.5操作系统，并且配置主机名、IP地址192.168.1.100/24等实验要求。2、添加4块大小为30G的虚拟磁盘，做RAID5卷，可用空间为60GB。3、关..
分类：
Web程序 时间：
2015-05-06 18:14:34
阅读次数：
359
最近一段时间看了许多Hadoop性能优化相关的资料，于是花了点时间整理了一下，希望给正在苦于Hadoop集群性能问题的博友们一点建议吧。
1、Hadoop在存储有输入数据的节点上运行map任务，可以获得最佳性能，称为“数据本地化优化“，所以一般会设置最大分片的大小应该与块大小相同，如果分片跨越2个块的大小，必然要经过网络传输到不同的节点上读取数据。
2、适当的时候使用Combine函数。Com...
分类：
其他好文 时间：
2015-05-05 09:00:46
阅读次数：
195
1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为78..
分类：
其他好文 时间：
2015-05-04 20:30:32
阅读次数：
225
1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该...
分类：
其他好文 时间：
2015-05-04 16:01:39
阅读次数：
150
思路题 要将整棵树分成大小相等的连通块，那么首先我们可以肯定的是每块大小x一定是n的约数，且恰好分成$\frac{n}{x}$块，所以我有了这样一个思路：向下深搜，如果一个节点的size=x，就把这个子树砍掉做成一个连通块，并更新父亲及祖先的size，这样递归地切，如果最后size[1]==0就表....
分类：
其他好文 时间：
2015-04-19 12:58:22
阅读次数：
133
题目链接：BZOJ - 3585题目分析区间mex，即区间中没有出现的最小自然数。那么我们使用一种莫队+分块的做法，使用莫队维护当前区间的每个数字的出现次数。然后求mex用分块，将权值分块（显然mex 一定小于等于 n ，大于 n 的权值没有意义，可以直接忽略），每块大小 sqrt(n) 。然后区间...
分类：
其他好文 时间：
2015-04-13 18:19:02
阅读次数：
144
作用：为linux的文件和目录创建档案，也可以在档案中改变文件，或者向档案中加入新的文件即用来压缩和解压文件。tar本身不具有压缩功能。他是调用压缩功能实现的语法：tar[必要参数][选择参数][文件]参数： 必要参数有如下： -A 新增压缩文件到已存在的压缩 add -B 设置区块大小 ...
分类：
其他好文 时间：
2015-04-13 16:17:58
阅读次数：
159
