码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop yarn    ( 30860个结果
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表 文章目录 postgresql数据库 timescaledb 时序库 把大数据量表转换为超表一 创建新表二 把新表改为超表三 插入数据1.数据量不大的情况可以直接插入2.如果数据量比较大 可以采取 一天一天 插入 或 ...
分类:数据库   时间:2021-02-06 11:48:38    阅读次数:0
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表
postgresql数据库 timescaledb 时序库 把大数据量表转换为超表 文章目录 postgresql数据库 timescaledb 时序库 把大数据量表转换为超表一 创建新表二 把新表改为超表三 插入数据1.数据量不大的情况可以直接插入2.如果数据量比较大 可以采取 一天一天 插入 或 ...
分类:数据库   时间:2021-02-06 11:48:18    阅读次数:0
Impala官网翻译09-安装Impala
安装Impala Impala是一个针对Apache Hadoop的开源分析数据库,可以快速返回查询响应。 按照以下步骤,通过从源码构建在集群上设置Impala。 下载最新版本。请参阅Impala下载页面以获取最新版本的链接。 检查 README.md 文件,以获得指向构建说明的指针。 请检查MD5 ...
分类:其他好文   时间:2021-02-06 11:41:43    阅读次数:0
Hadoop+HBase+Spark+Hive环境搭建
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明,记录于此,供各位同学及自己参考研究。 ...
分类:其他好文   时间:2021-02-05 10:38:53    阅读次数:0
Spark环境配置
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类:其他好文   时间:2021-02-04 11:53:09    阅读次数:0
Java第一课:数据类型和Scanner类
Java第一课 一、数据类型 原始数据类型(八大数据类型) 数据类型取值 boolean true/false byte(1个字节) -128到127 short(2个字节) -32768到32767 char(2个字节) 0到65535 int(4个字节) -2^31~2^31-1 long(8个 ...
分类:编程语言   时间:2021-02-03 10:36:02    阅读次数:0
Spark executor中task的数量与最大并发数
每个task处理一个partition,一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后,会根据executor可用的cpu核数,决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类:其他好文   时间:2021-02-02 11:14:58    阅读次数:0
启动YARN并运行MapReduce程序
备注:此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类:其他好文   时间:2021-02-02 10:48:15    阅读次数:0
hive自定义UDF函数
UDF:用户定义(普通)函数,只对单行数值产生作用;UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下: 定义UDF函数,如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类:其他好文   时间:2021-02-01 12:38:19    阅读次数:0
Hadoop搭建HA遇到的坑
Hadoop搭建HA遇到的坑 重要报错信息 Zookeeper日志 Cannot open channel to 2 at election address node03/172.17.0.4:3888 java.net.ConnectException: Connection refused (C ...
分类:其他好文   时间:2021-02-01 12:17:43    阅读次数:0
30860条   上一页 1 ... 27 28 29 30 31 ... 3086 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!