码迷,mamicode.com
首页 >  
搜索关键字:spark 编译    ( 76946个结果
redis集群升级,数据迁移及校验
本次由于安全漏洞原因,需要降redis3升级为redis6,涉及到数据迁移及校验等,用阿里redis-shake迁移工具迁移,并用阿里RedisFullCheck工具进行数据比对 一、新redis安装启动 开启老版本redis的哨兵模式,编辑完sentinel.conf后执行哨兵模式启动,主节点均要 ...
分类:其他好文   时间:2021-06-07 20:24:55    阅读次数:0
09 spark连接mysql数据库
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:数据库   时间:2021-06-07 20:10:49    阅读次数:0
C语言位域结构体运算
今天遇到一个关于C语言位域运算的问题,自己写代码试了一下,在Linux的gcc下编译运行了一下,大概了解了C语言位域运算在gcc下的编译运行情况。 ...
分类:编程语言   时间:2021-06-07 20:07:23    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-06-07 20:05:58    阅读次数:0
Spark RDD编程
1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:其他好文   时间:2021-06-07 20:04:33    阅读次数:0
08学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-07 19:58:41    阅读次数:0
1-Redis入门
概述 Redis是什么? Redis是一种基于键值对的NoSQL数据库 Redis(Remote Dictionary Server)即远程字典服务 是一个开源的ANSI C语言编写、支持网络、可基于内存也可以持久化的日志型、Key-Value数据库,并且提供多种语言的API。免费开源 Redis能 ...
分类:其他好文   时间:2021-06-06 19:44:25    阅读次数:0
并发编程-JMM&Lock锁以及原理
并发编程-JMM&Lock锁以及原理 JMM(Java Memory Model(Java内存模型)):我们都明白java是一个一次编译多处运行的语言,然而在不同的系统架构中拥有不同的内存模型,java是一个跨平台的虚拟系统,所以他有制定了自己的内存模型,内存模型描述了程序中各个变量之间的关系,以及 ...
分类:其他好文   时间:2021-06-06 19:37:34    阅读次数:0
【Solidity】零基础入门Solidity编写智能合约代码
如果你有其他语言基础,可以很快入门,如果新手建议了解即可,以下是课程目录: 1、智能合约概述2、区块链基础3、以太坊虚拟机4、安装Solidity编译器5、从源代码编译6、CMake参数7、版本号字符串详解8、版本信息详情9、实例学习Solidity10、秘密竞价(盲拍)11、安全的远程购买实例12 ...
分类:其他好文   时间:2021-06-06 19:21:59    阅读次数:0
12HDFS客户端操作(开发重点)
HDFS客户端环境准备 1.根据拷贝编译后的hadoop jar包到非中文路径 2.配置HADOOP_HOME环境变量 3. 配置Path环境变量 4.创建一个Maven工程HdfsClientDemo 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类:其他好文   时间:2021-06-06 19:12:37    阅读次数:0
76946条   上一页 1 ... 14 15 16 17 18 ... 7695 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!