一、HDFS集群API所需要jar包的maven配置信息 二、从HDFS下载数据文件/上传文件到HDFS文件系统 思路：1.获取配置信息 2.设置配置信息(块大小、副本数) 3.构造客户端 4.下载数据文件/上传数据文件 5.关闭资源 (1)下载文件 （2）上传文件 三、对HDFS系统进行操作的AP ...
题意：一棵树，点有$0,1,2$三种颜色，支持路径修改颜色和查询点所在同色连通块的大小 lcm太可怕了，于是去问了sk，得到一个优质做法 考虑lct维护子树信息，$vs_{x,i}$为$x$的虚儿子中，以颜色为$i$的节点为根的同色连通块大小之和，$s_{x,i}$表示splay上$x$的子树$vs ...
分类：
其他好文 时间：
2019-03-16 09:24:04
阅读次数：
238
题目 https://icpcarchive.ecs.baylor.edu/index.php?option=com_onlinejudge&Itemid=8&page=show_problem&problem=2795 题意 x * y的巧克力，问能不能恰好切成n份（只能整数切），每块大小恰好ai ...
分类：
其他好文 时间：
2019-03-04 09:59:36
阅读次数：
171
"$\verb|Luogu 3793 由乃救爷爷|$" rmq，数据随机 $n,\ m\leq 2\times10^7$ lxl ST表 分块，大小设为 $x$ 预处理每个块两端到块内每个点的前缀 $\max$ 和后缀 $\max$ 预处理块间ST表 数据随机 就成了期望 $O(n)$ 的rmq 重 ...
分类：
其他好文 时间：
2019-03-03 09:28:26
阅读次数：
167
评测记录：https://www.luogu.org/record/show?rid=14850706 时间用了1200ms，感觉应该是比较快的莫队了 莫队基本思路之前的题解已经讲过了，不再赘述 这里主要讲一下关于块大小的优化和奇偶性优化 一些细节上的卡常数就放在代码里讲了 块大小优化 好吧，在写这 ...
分类：
其他好文 时间：
2019-02-18 14:29:47
阅读次数：
167
背景：hdfs上的文件最好和hdfs的块大小的N倍。如果文件太小，浪费namnode的元数据存储空间以及内存，如果文件分块不合理也会影响mapreduce中map的效率。 本例中将小文件的文件名作为key，其内容作为value生成SequenceFile 1、生成文件 查找文件： 2、还原压缩的Se ...
分类：
其他好文 时间：
2019-02-15 15:51:15
阅读次数：
182
基础命令学习目录首页 dd指令使用 语法格式dd [option] dd指令选项详解 if=file：输入文件名，缺省为标准输入 of=file：输出文件名，缺省为标准输出ibs=bytes：一次读入 bytes 个字节（即一个块大小为 bytes 个字节）obs=bytes：一次写 bytes 个 ...
分类：
其他好文 时间：
2019-02-06 13:13:29
阅读次数：
207
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上 ...
分类：
系统相关 时间：
2019-02-05 23:44:37
阅读次数：
345
总算弄懂了这个分块大小怎么算... 两个指针 复杂度 $O(u n+\frac{n^2}{u})$ 根据均值不等式， $u n+\frac{n^2}{u}$ 在 $u n=\frac{n^2}{u}$ 时取最小值 即 $u=\sqrt{n}$ 三个指针（带修） 复杂度 $O(u n+\frac{n^ ...
分类：
编程语言 时间：
2019-01-27 21:30:56
阅读次数：
624
大家下午好，这里是链客区块链技术问答社区，现在为大家讲解一下 区块链：一种实时记录全部交易的去中心化公开数据库，在区块链上进行支付时全网计算机共同查询区块链数据，共同验证这笔支付交易是否有效。确认支付后将写入区块链并产生一条不可篡改记录。 区块：区块大小是1M，包含父哈希、Merkle根、时间戳、难 ...
分类：
其他好文 时间：
2019-01-15 15:45:43
阅读次数：
234
