1，-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选 ...
分类：
其他好文 时间：
2020-08-05 18:13:32
阅读次数：
89
查询 hadoop dfs -ls / hadoop dfs -ls -R / 注：-R 是递归查询 创建目录 hadoop dfs -mkdir /test 创建文件 hadoop dfs -touchz /aa.txt 查看文件内容 hadoop dfs -cat /test/aa.txt 复制 ...
分类：
其他好文 时间：
2020-08-05 16:53:52
阅读次数：
89
Apache 存储了很多的开源软件 Hadoop 处理大数据 kafka 消息队列 下载Nginx 解压nginx 进入nginx目录 cat README.md ./config --help 后2个参数分别是: 支持https 支持nginx状态页面 conf 配置文件(各种设置) html 存 ...
分类：
其他好文 时间：
2020-08-04 09:45:53
阅读次数：
82
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
一、安装Anaconda3 下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 注意：Anaconda自带Python，根据要安装的python版本选择对应的anaconda包，我安装的是Anaconda3-2018.12-Linu ...
分类：
系统相关 时间：
2020-08-01 21:23:55
阅读次数：
92
题记这是星球-静夜思模块里面一篇文章，有感于星球微信群的一次交流，连夜边思考边记录了下来。静夜思模块完全是深夜里由感而发，大多包含但不限于：认知的梳理、方法论的探讨、各种问题的暗时间思考……微信群机缘巧合，认识了很多领域的先行者、持续技术跟进者，统称或者俗称大佬。比如：硅谷、腾讯云、阿里云、蚂蚁金服、小米、华为、Oracle一线大厂ES大佬。比如：HBASE大佬比如：SPring大佬比如：Flin
分类：
其他好文 时间：
2020-07-31 01:01:32
阅读次数：
77
1 什么是 HBase HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 2 Hbase 特点 1）海量存储 Hbase 适合存储 PB 级别的海量数据，在 PB 级别的数据以及采用廉价 PC 存储的情况下，能在几十到百毫秒内返回数据。这与 Hbase 的极易扩展性息息相关 ...
分类：
其他好文 时间：
2020-07-30 21:59:29
阅读次数：
81
Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase" 其中hbase master 的webui 由参数hbase.master.info.port决定，一般配置为 60010 [dip@g3-test-36 ~]$ hadoop fs -ls ...
分类：
其他好文 时间：
2020-07-30 19:45:37
阅读次数：
104
参考链接： https://community.cloudera.com/t5/Support-Questions/HDP-3-0-with-local-repository-failing-to-deploy/td-p/240954 https://community.cloudera.com/t ...
分类：
Web程序 时间：
2020-07-30 18:12:28
阅读次数：
82
前面几篇文章把Hadoop常用的模块都学习了，剩下一个新模块Ozone，截止到今天最新版本是0.5.0Beta，还没出正式版。好在官方网站有文档，还是中文版的。 什么是Ozone Ozone 是 Hadoop 的分布式对象存储系统，具有易扩展和冗余存储的特点。 Ozone 不仅能存储数十亿个不同大小 ...
分类：
其他好文 时间：
2020-07-30 01:46:54
阅读次数：
117
