1）处理超大文件 这里的超大文件通常是指百MB、设置数百TB大小的文件。目前在实际应用中，HDFS已经能用来存储管理PB级的数据了。 2）流式的访问数据 HDFS的设计建立在更多地响应"一次写入、多次读写"任务的基础上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各 ...
分类：
其他好文 时间：
2020-05-06 14:01:03
阅读次数：
102
这一题做的实在是脑壳疼，各种手段用尽还是什么都没发现，打开只有一句Can you anthenticate to this website? 最后查了一下才知道有个源码文件.phps .phps后缀释义： phps文件就是php的源代码文件。 通常用于提供给用户（访问者）查看php代码，因为用户无法 ...
分类：
Web程序 时间：
2020-05-04 19:15:23
阅读次数：
128
开始前说一说 吐槽 首先， 文章有谬误的地方， 请评论， 我会进行验证修改。谢谢。 vue真是个好东西，但vue的中文文档还有很大的改进空间，有点大杂烩的意思，对于怎么把html文件(通过<script>引入vue)简单项目移植成vue-cli(vue init webpack my-project ...
分类：
其他好文 时间：
2020-05-03 20:22:05
阅读次数：
78
1 构件坐标 在maven中，构件(jar、war等文件)通过坐标进行标识。其中，坐标分为项目坐标和依赖坐标。 2 项目坐标与代码目录规定 我们在开发项目时也需要为其定义坐标，这是maven强制要求的。在这个基础上，其他项目才能引用该项目生成的构件。 项目坐标通常由groupId、artifactI ...
分类：
其他好文 时间：
2020-05-02 12:13:07
阅读次数：
89
batch 发送，batch 存储(可压缩, FileChannel 顺序写盘)，batch 拉取(sendFile) 查看 log： kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类：
其他好文 时间：
2020-05-02 00:16:20
阅读次数：
81
上一篇使用了 pngquant 图片压缩工具进行压缩，并通过 click 命令行工具构建了 picom 包。这篇的主要功能是实现图片上传。 图片上传功能的实现 通过 pngquant 压缩图片后，得到一个 fs8.png 为后缀的图片。想要把图片上传到云端，只需要把这个文件通过 API 发送给图片存 ...
分类：
编程语言 时间：
2020-04-29 23:05:24
阅读次数：
101
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-04-27 15:01:34
阅读次数：
90
一、打包和压缩 打包：将一大堆文件或目录变成一个总的文件 压缩：将一个大的文件通过压缩算法变成一个小文件 原因：linux中的压缩只能针对一个文件进行压缩，当要压缩一大堆文件时，就需要先打包成一个总的文件，然后再压缩。 tar的重点选项 1. 打包 2. 调用gzip .gz结尾的文件就是gzip压 ...
分类：
系统相关 时间：
2020-04-26 20:47:58
阅读次数：
73
字节缓冲流根据流的方向，共有2个 写入数据到流中，字节缓冲输出流 BufferedOutputStream 读取流中的数据，字节缓冲输入流 BufferedInputStream BufferedOutputStream： 构造方法 public BufferedOutputStream(Outpu ...
分类：
其他好文 时间：
2020-04-22 16:48:24
阅读次数：
73
1、缓冲流 （1）缓冲流，也叫高效流，是对4个基本的FileXXX流的增强，按照类型分类：字节缓冲流：BufferedInputStream, BufferOutputStream；字符缓冲流：BufferedReader, BufferedWriter； （2）缓冲流的原理：在创建流对象时，创建一 ...
分类：
其他好文 时间：
2020-04-20 23:26:02
阅读次数：
90
