Error fetching command 'collectstatic': You're using the staticfiles app without having set the STATIC_ROOT setting to a filesystem path.Command 'coll ...
分类：
其他好文 时间：
2019-09-01 12:24:09
阅读次数：
143
1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一
分类：
其他好文 时间：
2019-08-28 17:08:14
阅读次数：
87
HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点da ...
分类：
其他好文 时间：
2019-08-17 18:13:44
阅读次数：
83
spark.deploy.recoveryMode：恢复模式（Master重新启动的模式） ZooKeeper：生产中用Zookeeper，因为基于文件系统的需要我们手动启动挂掉的Master FileSystem ：FileSystem在测试阶段用 NONE：NONE表示不恢复 ZooKeeper ...
分类：
其他好文 时间：
2019-08-15 09:23:28
阅读次数：
102
1 HDFS写数据流程 1.1 剖析文件写入 HDFS写数据流程，如图所示 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block ...
分类：
其他好文 时间：
2019-08-15 06:04:26
阅读次数：
126
www@172-18-8-12 log]$ df -h Filesystem Size Used Avail Use% Mounted on/dev/vda1 120G 101G 20G 84% /devtmpfs 7.8G 0 7.8G 0% /devtmpfs 7.8G 0 7.8G 0% /d ...
分类：
其他好文 时间：
2019-08-07 12:11:52
阅读次数：
273
2、创建仓库 备份数据之前，要创建一个仓库来保存数据，仓库的类型支持Shared filesystem, Amazon S3, HDFS和Azure Cloud。下面以文件系统为例 3、备份索引 如果只想备份部分索引的话，可以加上indices 参数： 5 、查看备份信息 参考：https://ww ...
分类：
其他好文 时间：
2019-08-04 01:22:52
阅读次数：
111
AUFS 的英文全称为 Advanced Mult-Layered Unification Filesystem，曾经是 Another Mult-Layered Unification Filesystem，显然，现在的内涵规格更高些。说明：本文的演示环境为 ubuntu 16.04。 Union ...
分类：
系统相关 时间：
2019-07-25 09:14:44
阅读次数：
135
原因是：HSSFWorkbook:是操作Excel2003以前（包括2003）的版本，扩展名是.xls XSSFWorkbook:是操作Excel2007的版本，扩展名是.xlsx 在使用POI读取Excel文件内容时，发生了异常，报错如下： java.lang.IllegalStateExcept ...
分类：
移动开发 时间：
2019-07-21 16:34:34
阅读次数：
127
主要讨论常见的性能指标，cpu,memory,network，filesystem 看下几种比较好的工具是如何搜集这些性能数据的，并且结合cadvisor进行具体的分析，有些内容比较琐碎，只能慢慢完善了。 想起来初中生物老师说过的话，微观的问题往往通过宏观的现象表现出来。当时感觉不明觉厉。运用到性能 ...
分类：
其他好文 时间：
2019-07-19 20:36:07
阅读次数：
143
