一、Maptask并行度与决定机制 1.一个job任务的map阶段的并行度默认是由该任务的大小决定的； 2.一个split切分分配一个maprask来并行处理； 3.默认情况下，split切分的大小等于blocksize大小； 4.切片不是mapper类中对单词的切片，而是对每一个处理文件的单独切片 ...
分类：
其他好文 时间：
2019-03-24 23:28:59
阅读次数：
691
#之前一直没明白文件处理中的w和wb的区别到底是什么,#在看过视频后才知道,原来在linux里面是没有区别的,#但是在windows里面就能够看出区别来了#下面来个例子: with open("普通文本文件.txt", "w",encoding='utf-8') as f: data = 'This ...
分类：
编程语言 时间：
2019-03-24 13:55:09
阅读次数：
172
node 静态文件处理 一般后端进行静态文件处理都是使用 Apache nginx 等静态 web 服务器,但是既然使用 node 了,就用 node 实现以下静态服务器吧. 之前弄了不少充满艺术的数据,就弄个页面进行艺术欣赏吧 app.js views/index.html/index.js/in ...
分类：
Web程序 时间：
2019-03-23 22:35:55
阅读次数：
281
摘要：本文主要介绍了Java的文件处理以及常用的IO流操作。 ...
分类：
其他好文 时间：
2019-03-20 00:46:32
阅读次数：
116
数据库: 数据库就是存储数据的仓库(容器) 存储数据的方式: 1.变量 无法永久存储 2.文件处理 可以永久存储 文件处理存在的弊端: 1.文件处理速度慢 2.文件只能在自己的计算机上读写,无法被共享(局域网除外) 单台计算机的性能终归是有限的 1.升级硬件设备 提升幅度有限,垂直扩展 2.服务器集 ...
分类：
数据库 时间：
2019-03-13 20:05:23
阅读次数：
190
数据库 就是存储数据的仓库(容器)存储数据的方式1.变量 无法永久存储2.文件处理,可以永久存储文件处理存在的弊端: 1.文件处理速度慢 2.文件只能本机读写 无法被共享 单台计算机的性能终归是有限的两种方式1.升级硬件设备 提升幅度有限 垂直扩展2.服务器集群 分布式 横向扩展 可插拔设计(在一个 ...
分类：
数据库 时间：
2019-03-13 15:12:43
阅读次数：
215
目前公司和企业用到的文件共享很多，常见的Windows共享，ftp，samba等等。都是可以实现文件共享。但在企业用用到最多的就是windows共享，结合ad用户认证。用户管理配置权限很灵活。但速度上还是受一定限制。如果需求是大文件的拷贝，或者长期大文件处理。那么主链路则直接打死。所以实现的方法很多，选择最适合还是很重要的。FreeNAS（读音free·nas[free-n?s]），是一款开源免费
分类：
其他好文 时间：
2019-03-07 17:53:55
阅读次数：
782
i++/++i不存在，最简为i +=1a+= b 更快编码驱动-硬件商python集成环境.idea配置文件 ...
分类：
其他好文 时间：
2019-03-02 23:40:13
阅读次数：
208
Linux的压缩/解压缩命令详解及实例 压缩服务器上当前目录的内容为xxx.zip文件 zip -r xxx.zip ./* 解压zip文件到当前目录 unzip filename.zip 另：有些服务器没有安装zip包执行不了zip命令，但基本上都可以用tar命令的，实例如下： tar -zcvf ...
分类：
系统相关 时间：
2019-02-18 01:23:08
阅读次数：
242
//basename的使用$path='test/abc.jpg'; echo basename($path);// echo ''; echo basename($path,'.jpg');// /* * 输出结果 abc.jpg abc * */ ...
分类：
Web程序 时间：
2019-02-16 09:32:32
阅读次数：
188
