码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop docker    ( 46925个结果
PySpark第一篇.PySpark简介
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:其他好文   时间:2021-04-06 15:01:09    阅读次数:0
spark中的持久化(cache()、persist()、checkpoint())
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时,那些没有被持久化的数据,需要从源头处重新计算一遍。这是默认的 ...
分类:系统相关   时间:2021-04-06 14:53:55    阅读次数:0
Hadoop序列化
2.1 序列化概述 1)什么是序列化 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。 2)为什么要序列化 一般来说,“活的”对象只生存在内存里,关机断电 ...
分类:其他好文   时间:2021-04-06 14:52:31    阅读次数:0
Adobe ColdFusion 反序列化漏洞(一次失败的复现)
Adobe ColdFusion 反序列化漏洞 0x01.环境搭建 利用vulhub搭建漏洞环境 service docker start docker-compose up -d 查看开启的端口号 docker-compose ps 访问http://target_ip:8500/CFIDE/ad ...
分类:其他好文   时间:2021-04-06 14:28:21    阅读次数:0
docker建立redis集群(多分片+多副本)
# 整理下docker 创建redis集群多分片shards、多副本replicas的命令 # 分片平均系统数据,副本保证读写分离,docker pull redisdocker rm redis-node1 redis-node2 redis-node3 redis-node4 redis-nod ...
分类:其他好文   时间:2021-04-06 14:07:09    阅读次数:0
Docker学习-在Docker中安装ElasticSearch
#需要注意的是,ES暴露的端口十分多,而且 十分耗内存#启动 elasticsearch docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single- ...
分类:其他好文   时间:2021-04-06 14:02:06    阅读次数:0
「免费开源」基于Vue和Quasar的前端SPA项目crudapi后台管理系统实战之docker部署(八)
本文主要介绍了vue前端打包和docker部署相关内容,到目前为止,crudapi-admin-web代码已经完成,后续会继续优化代码,文档也会持续更新。每一篇文章对应的代码,都打上了tag,命名规则为t1,t2..., 欢迎下载代码学习和交流。 ...
分类:Windows程序   时间:2021-04-05 12:49:30    阅读次数:0
Docker
容器化方案Docker 思考: FastDFS的安装步骤非常的多,涉及的依赖包也很多,当新的机器需要安装FastDFS时,是否需要从头开始安装。 我们在学习时拿到ubuntu系统的镜像,在VM虚拟机中运行这个镜像后,为什么就可以直接进行开发,而不需要重新搭建开发环境。 在工作中,如何高效的保证开发人 ...
分类:其他好文   时间:2021-04-05 12:48:27    阅读次数:0
Docker学习-常用命令(2)
进入当前正在运行的容器: #我们通常容器都是后台运行的,需要进入容器,修改一些配置 #方式1: docker exec -it 容器id /bin/bash #进入容器后开启一个新的终端,可以在里面操作【常用】 #方式2: docker attach 容器id #进入容器正在执行的终端,不会启动新的 ...
分类:其他好文   时间:2021-04-05 12:46:04    阅读次数:0
Docker学习-容器命令
前提:我们有了镜像才可以创建容器 如,下载一个centos镜像来测试学习 docker pull centos 新建容器并启动 docker run 【可选参数】 image #参数说明 --name= “Name” 容器名字 tomcat01,tomcat02。用来区分不同的容器 -d 后台方式运 ...
分类:其他好文   时间:2021-04-05 12:42:27    阅读次数:0
46925条   上一页 1 ... 43 44 45 46 47 ... 4693 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!