1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 2.在本地查看文件位置(ls) 3.在本地显示文件内容 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 5.查看hdfs中的文件(-ls) 6 ...
分类:
其他好文 时间:
2018-04-27 21:15:52
阅读次数:
260
一、os os.walk是一个非常强大的方法,可以将文件夹下的子文件夹里的文件遍历出来 os.walk返回的是一个二维数组,数组每个元素都包含绝对路径、文件夹、文件三个元素,可以用三个变量来循环 二、sys 三、random 四、string 五、time 六、hashlib 七、json ...
分类:
编程语言 时间:
2018-04-27 19:52:35
阅读次数:
188
一、Hadoop提供的Shell命令完成相同任务: 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 5.查看hdfs中的文件(-ls) 6.显示hdfs中该的文件内容 7.删除本地的txt文件并查看目录 8.从hdfs中将txt下载地本地原来的位置。 9. ...
分类:
其他好文 时间:
2018-04-26 21:13:41
阅读次数:
159
一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. cd home/jinlong/hadoop touch one.txt echo '1'>one.txt echo 'aaaaa1'>> ...
分类:
其他好文 时间:
2018-04-26 18:29:21
阅读次数:
174
编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; 从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名; 将HDFS中指定 ...
分类:
其他好文 时间:
2018-04-25 22:16:24
阅读次数:
398
文件的重命名 file.reNameTo() 此方法行为的许多方面都是与平台有关的:重命名操作无法将一个文件从一个文件系统移动到另一个文件系统,dest为新命名的抽象文件 文件内容的读取 以上方法用于读取文本类文件 FileInputStream 从文件系统中的某个文件中获得输入字节。哪些文件可用取 ...
分类:
编程语言 时间:
2018-04-25 20:59:08
阅读次数:
320
1 将当前目录的所有扩展名为html的文件重命名为扩展名为htm的文件。 2 计算文件侧CRC32值 拓展知识:CRC又称循环冗余检查吗,常用于数据存储和通信领域,具有极强的检错能力。CRC32产生校验值时源数据快的每一个bit(位)都参与了计算,所以数据块中即使只有一位发生了变化,也会得到不同的C ...
分类:
其他好文 时间:
2018-04-12 22:15:57
阅读次数:
452
这几天想研究一下微信的小程序,就下载了一个微信开发工具,下载完成之后发现任务栏竟然没有对应的图标,我的强迫症又犯了,。在安装的时候我发现了好像这个工具是依赖于NW就是node-webkit开发的,碰巧以前作古一个项目就是用这个开发的,索性就看了一下工具的源代码,果然,虽然进行了一个改造,但是本质还是... ...
分类:
微信 时间:
2018-04-12 13:30:31
阅读次数:
680
前提:一个小程序每天产生大量日志,需要定期进行清理,于是想到使用系统自带的任务计划 but 需要先自己写一个小批处理脚本,我是这样做的,先新建一个txt文档,把要做的操作用中文写出来,像这样 然后再根据步骤查找相关的批处理命令,对应的命令如下 把中文步骤1、2、3去掉,再把文件重命名为delLog. ...
分类:
其他好文 时间:
2018-04-03 19:12:55
阅读次数:
169
对文本文件的操作非常基础而且和重要,掌握它们后操作文本你会更加得心应手。要复制文件,请使用cp(copy)这个命令,cp这个命令的用途可多了,除了了单纯的复制之外,还可以建立建立快捷方式,对比两个文件的新旧程度从而决定是否更新,以及复制整个目录下的文件等功能。至于移动目录和文件,则使用mv(move),这个命令也可以直接作为文件重命名的作用。至于删除文件,就是使用rm(remove)这个命令,我们
分类:
系统相关 时间:
2018-03-02 23:15:47
阅读次数:
245