HBase架构： 1**）Client** Client包含了访问Hbase的接口，另外Client还维护了对应的cache来加速Hbase的访问，比如cache的.META.元数据的信息。 2**）Zookeeper** HBase通过Zookeeper来做master的高可用、RegionSer ...
分类：
其他好文 时间：
2019-09-17 22:40:43
阅读次数：
127
1.显示当前目录结构#显示当前目录结构hadoopfs-ls<path>#递归显示当前目录结构hadoopfs-ls-R<path>#显示根目录下内容hadoopfs-ls/2.创建目录#创建目录hadoopfs-mkdir<path>#递归创建目录hadoopfs-mkdir-p<path>3.删除操作#删除文件hadoopfs-rm<pat
分类：
系统相关 时间：
2019-09-17 17:42:31
阅读次数：
115
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav ...
分类：
其他好文 时间：
2019-09-08 19:52:36
阅读次数：
105
意思说在 hdfs://localhost:9000/usr/local/spark/zytdemo找不到响应的文件，我们可以分析的得到他并不是加载本地文件，而是区hdfs上查找。 这是由于我们在之前配置时修改过 /usr/local/hadoop/etc/hadoop下的core-site.xml ...
分类：
Web程序 时间：
2019-09-06 18:36:47
阅读次数：
126
scp、 拷贝完全相同 rsync、拷贝有差异的文件 xsync、循环复制文件到所有节点相同的目录下 ...
分类：
其他好文 时间：
2019-09-01 21:44:04
阅读次数：
116
pandas.DataFrame.to_hdf(self, path_or_buf, key, **kwargs) https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_hdf.html http ...
分类：
其他好文 时间：
2019-08-27 21:09:12
阅读次数：
66
自从NASA对MRT工具停止支持后，这个工具的官网也随之打不开无法下载。处理数据当然还是需要官方的工具好一些。 现在NASA推荐使用HEG工具来处理MODIS系列产品，除此之外工具对ASTER, MISR, AIRS, and AMSR-E HDF-EOS data sets.It also han ...
分类：
其他好文 时间：
2019-08-04 16:48:35
阅读次数：
379
至2019年12月31日 Spring Cloud(Eureka,Ribbon,Feign,Config,)8月31日 Kubernetes 9月30日 Redis(集群工作原理，选举算法) 10月15日 Ngnix/HAProxy 10月30日 MySQL(集群工作原理，索引，) 9月30日 Mo ...
分类：
其他好文 时间：
2019-08-03 14:46:36
阅读次数：
78
HBase搭建 Fully distributed 1、搭建方式说明 2、搭建步骤 1、将集群中的所有节点的hosts文件配置完成 2、将集群中的所有节点的防火墙关闭 3、将集群中的所有节点的时间设置一致 4、将所有的节点设置免密钥登陆 5、解压hbase安装包 6、在/etc/profile文件中 ...
分类：
其他好文 时间：
2019-08-03 10:46:20
阅读次数：
73
