码迷,mamicode.com
首页 >  
搜索关键字:hadoop shell 自动化部署    ( 42284个结果
Oh ! My ZSH !!!
zsh + oh my zsh 使用 切换bash 切换bash chsh -s /bin/bash 切换zsh chsh -s /bin/zsh 安装 oh my zsh ! 插件地址 https://github.com/ohmyzsh/ohmyzsh/tree/master/plugins 主 ...
分类:其他好文   时间:2021-03-16 13:54:23    阅读次数:0
02 Spark框架与运行流程
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1)使用mapreduce进行批量离线分析; 2)使用hive进行历史数据的分析; 3)使用hbase进行实时数据的查询; 4)使用storm进行实时的流处理; (2)选用spark的原因 1) 应用于流式计算的S ...
分类:其他好文   时间:2021-03-16 13:32:12    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-03-16 13:21:18    阅读次数:0
DC-5
DC-5 存活探测 端口扫描 从80入手 conract提交后,发现日期有变化,并且参数变量可控,猜测文件包含 尝试包含/etc/passwd 从日志文件入手 尝试写入shell 失败了很多次,恢复快照后,ip变了 反弹shell 返回交互式 中途断了一次,换了端口 python反弹 提权(/bin ...
分类:其他好文   时间:2021-03-16 11:54:54    阅读次数:0
Hbase2.0的Java API
以表的操作和单条记录的增删改查为基础。 批量操作,需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类:编程语言   时间:2021-03-15 11:32:26    阅读次数:0
02 Spark架构与运行流程
1. 为什么要引入Yarn和Spark。 从开源角度看,YARN的提出,从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的,在MapReduce时代,很多人批评MapReduce不适合迭代计算和流失计算,于是出现了Spark和Storm等计算框架,而 ...
分类:其他好文   时间:2021-03-15 11:29:44    阅读次数:0
Linux02(目录、文件、用户、用户组管理)
rootfs:根文件系统 /boot:系统启动相关的文件,如内核、initrd,以及grub(bootloader) /dev:设备文件 设备文件: 块文件:随机访问,数据块 字符设备:线性访问,按字符为单位 设备号:主设备号(major)和次设备号(minor) /etc:配置文件 /home:管 ...
分类:系统相关   时间:2021-03-15 10:49:44    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于BigTable,即分布式NoSQL列数据库,外加Zo ...
分类:其他好文   时间:2021-03-15 10:45:14    阅读次数:0
开源项目Elastic Shell发布,基本管理
什么是Elastic Shell Elastic Shell是一套完全用Bash Shell编写的,用于管理Elasticsearch搜索引擎的工具脚本。目前,它提供了针对index和snapshot的基本管理,并提供了针对reindex和Elasticsearch集群升级的辅助自动化。 本质上,E ...
分类:系统相关   时间:2021-03-15 10:42:46    阅读次数:0
python中将函数存储在模块里(导入特定的函数)
1、将函数存储在模块里 def fun1(x): ## 在模块module1.py中定义三个函数 print(x.upper()) def fun2(x): print(x.title()) def fun3(x): print(" ",x) 2、测试能否直接调用函数 >>> fun1("aaa") ...
分类:编程语言   时间:2021-03-15 10:39:46    阅读次数:0
42284条   上一页 1 ... 25 26 27 28 29 ... 4229 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!