【推荐系统算法实战】 基于网页的 Notebook：Zeppelin 交互式数据分析 如果有一个工具，可以让你在同一个Web页面上写Shell代码，Python代码，Scala代码，你想要么？ 如果还可以执行PySpark代码和Spark代码呢？心动了吗？ 如果还可以写Hive-SQL，Spark- ...
分类：
编程语言 时间：
2021-07-02 15:35:46
阅读次数：
0
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
自动化运维平台架构图 微服务部署和监控运维框架图 云原生下的DevOps自动化运维 多环境#交易系统#DevOps架构 基于大数据智能化的自助终端远程运维服务架构 自动化运维全流程 ...
分类：
其他好文 时间：
2021-06-28 18:10:44
阅读次数：
0
近年来，随着人工智能、AI智药等科技领域的火热，以及阿里云、腾讯云、华为云等互联网大厂在各种场景下的成功应用。高性能计算、云计算这类科技领域的词汇也也逐渐进入人们的日常生活。那么，什么是云计算呢？云计算为什么这么火？云计算与高性能计算又有着什么样的渊源?今天我们就详细说一下云计算与高性能计算的区别与 ...
分类：
其他好文 时间：
2021-06-28 17:47:42
阅读次数：
0
无锡、佛山、合肥、大连、福州、厦门、哈尔滨、济南、温州、南宁、长春、泉州、石家庄、贵阳、常州、南通、嘉兴、太原、徐州、南昌、金华、惠州、珠海、中山、台州、烟台、兰州、绍兴、海口、扬州 工业X-RAY检测设备可用于锂电池检测等电池行业，电路板行业，半导体封装，汽车行业，电路板组装（PCBA）行业等，以 ...
分类：
Web程序 时间：
2021-06-25 17:04:16
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
