热身30题 1.描述一下HDFS的写流程 2.描述一下HDFS的读流程 3.详细讲解一下HDFS的体系结构 4.如果一个datanode出现宕机,恢复流程是什么样的? 5.通常你是如何解决Haddop的NameNode宕机的,流程是什么? 6.描述一下NameNode对元数据的管理 7.NameNo ...
                            
                            
                                分类:
其他好文   时间:
2021-01-14 10:47:06   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                文件读写包括:文件打开(open),模式(文件读(r,r+),文件写(w,w+),文件追加(a)),文件关闭(close()),字符集(encoding=UTF-8),流程管理函数with(),文件的相对路径和绝对路径 open():open打开的文件是一个流,只能被read()函数消费一次,如果需 ...
                            
                            
                                分类:
编程语言   时间:
2021-01-14 10:31:00   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m,大于128m的会进行分块存储,下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 ...
                            
                            
                                分类:
其他好文   时间:
2021-01-12 11:13:14   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                主从概念 ?个master可以拥有多个slave,?个slave?可以拥有多个slave,如此下去,形成了强?的多级服务器集群架构 master用来写数据,slave用来读数据,经统计:网站的读写比率是10:1 通过主从配置可以实现读写分离 master和slave都是一个redis实例(redis ...
                            
                            
                                分类:
其他好文   时间:
2021-01-12 10:40:05   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                创建文件并打开 ofstream out("sf1.txt"); 往文件中写 1、一个单词一个单词写 cin>>s,out<<s; 2、一行一行写 cin.getline(s,num); out<<<s; 打开文件往外写 ifstream in("sf1.txt"); 1、一个单词一个单词往外写 i ...
                            
                            
                                分类:
编程语言   时间:
2021-01-08 11:39:31   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                import configparser code_ = "ft" cfg1 = "C:/" + code_ +".ini" conf = configparser.ConfigParser() conf.read(cfg1) # 读取 try: a = conf.get("标题","字段") pri ...
                            
                            
                                分类:
其他好文   时间:
2021-01-08 10:55:37   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                
                    一、下载mycat http://dl.mycat.org.cn/ 二、配置server.xml ,主要是mycat的ip 端口及账号密码配置,一般保持默认 三、配置schema.xml ,配置主从节点及数据库表的配置 <mycat:schema xmlns:mycat="http://io.myc ...
                            
                            
                                分类:
数据库   时间:
2021-01-06 11:48:47   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                
                    Maxscale介绍 MaxScale是maridb开发的一个mysql数据中间件,其配置简单,能够实现读写分离,并且可以根据主从状态实现写库的自动切换。 注:MaxScale需要MariaDB至少 10.3.1 以上版本的支持,版本过低可能导致部分功能无法使用。 MariaDB MaxScale  ...
                            
                            
                                分类:
其他好文   时间:
2021-01-06 11:38:28   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                一、得到镜像文件 二、解压压缩包和解锁文件夹 把镜像里的压缩包拖拽到桌面 命令行解压VMwareTools压缩包 得到有锁的文件夹 解锁文件夹得到读写权限 输入命令:sudo chown -R $USER 文件夹 例子:sudo chown -R $USER /home/wxm/user,就可以将u ...
                            
                            
                                分类:
系统相关   时间:
2021-01-05 11:35:52   
                                阅读次数:
0
                             
                    
                        
                            
                            
                                
                    读取ini文件 ini文件中可以存在以#和;作为注释的部分,不会影响读取的结果。函数如下 1 #!/usr/bin/env bash 2 # 3 # FileName : Bash读取ini文件.sh 4 # Author :hpy 5 # Date :2020年11月08日 6 # Descrip ...
                            
                            
                                分类:
其他好文   时间:
2021-01-05 11:22:25   
                                阅读次数:
0