码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop yarn    ( 30860个结果
08 学生课程分数的Spark SQL分析
1.用DataFrame的操作或SQL语句完成以下数据分析要求: 2.总共有多少学生? 3.开设了多少门课程? 4.每个学生选修了多少门课? 5.每门课程有多少个学生选? 6.Tom选修了几门课?每门课多少分? 7.Tom的成绩按分数大小排序。 8.Tom的平均分。 9.每个分数+5分。 10.求每 ...
分类:数据库   时间:2021-05-24 16:49:50    阅读次数:0
打开hive后,show databases报错HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
启动hive时,show databases; 然后报错: 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致),于是乎看别人的解决方法: 第一种解决办法(失败)[1]: 由于没有初始化数据库导致,执行名称初始化数据库,执行命令: schema ...
分类:数据库   时间:2021-05-24 16:48:31    阅读次数:0
人人都在谈的图数据库到底是个啥?
摘要: 图数据库,如果是刚接触的人,可能会被其字面意思所误导。其实,图数据库并不是指存储图片、图像的数据库,而是指存储图这种数据结构的数据库。那么图又是什么呢? 本文分享自华为云社区《图数据库到底是个啥》,原文作者:你好_TT 。 近些年来,在大数据处理过程中有一种被广泛提及和使用的数据库,那就是图 ...
分类:数据库   时间:2021-05-24 15:56:35    阅读次数:0
08 学生课程分数的Spark SQL分析
用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 df_scs.select('name', 'course', df_scs.score+5).show() 总共有多少学生? 总共开设了哪些课程? df_scs.select('name ...
分类:数据库   时间:2021-05-24 15:33:34    阅读次数:0
Flume对接HBASE报错:NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
方案一:手动拷贝需要的相关jar包 flume对接HBASE报错,找不到相关的类: 报错hbase相关日志: 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类:Web程序   时间:2021-05-24 15:18:47    阅读次数:0
yarn 的使用
查看 yarn 全局安装目录:yarn global dir 全局安装:yarn global add XX 安装到dev:yarn add XX -dev 安装所有:yarn install (会优先安装 yarn.lock 文件里面的内容) 更新 yarn upgrade XX (会将包更新到最 ...
分类:其他好文   时间:2021-05-24 14:32:34    阅读次数:0
泛在感知中台建设方案
前言 工业互联网平台普遍面临的问题是: 1、在数据完成采集和展示之后,数据如何分析、如何挖掘、如何建模、如何将数据价值变现? 2、不同行业的技术原理、行业知识、基础工艺都不一样,如何建设跨行业跨领域的工业互联网平台? 泛在感知中台是跨行业跨领域的大数据处理中台,可以帮助企业提升平台能力,为企业提供丰 ...
分类:其他好文   时间:2021-05-24 13:32:33    阅读次数:0
Mac卸载vue不成功
npm install -g @vue/cli npm uninstall -g @vue/cli yarn global add @vue/cli yarn global remove @vue/cli 首先确定你的是npm安装的还是yarn安装的,要用对应的卸载方式 如果还是卸载不成功,那么有以 ...
分类:系统相关   时间:2021-05-24 10:59:47    阅读次数:0
搞懂什么是数据库事务
前言 事务(Transaction)是数据库学习中非常重要的一种概念,作为关系型数据库的核心组成,在数据安全方面有着非常重要的作用。 事务在各大数据库中都有非常广泛的应用,并且对于很多业务,例如电商、支付,是保证其可以正常运行的根基。 本文会逐步解析数据库事务的核心特性,以获得对事务更深的理解,主要 ...
分类:数据库   时间:2021-05-24 10:21:59    阅读次数:0
cube.js预聚合对于大数据量处理的问题
cube.js 的预聚合是一个很不错的功能,但是目前是有一些问题的,比如我们包含了大量的数据(几十完,上百万) 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理(比如cubestore支持csv格式的) 基于stream模式的数据处理(目前官方也比较推荐的模式) 一些说明 目前方案都不太好, ...
分类:Web程序   时间:2021-05-24 09:57:40    阅读次数:0
30860条   上一页 1 ... 10 11 12 13 14 ... 3086 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!