码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs mapreduce yarn    ( 18270个结果
npm如何发布一个自己的package
1. npm官网注册个账号,起一个洋气的英文名。https://www.npmjs.com/signup 2.邮箱一定要先验证激活账号 3.发布一个自己的包,进入自己的项目,执行以下命令 4.这个时候在自己的npm账号上就能看到了 5.下架一个包,需要在本地执行 npm --force unpubl ...
分类:其他好文   时间:2021-01-13 11:19:35    阅读次数:0
React Native | 零代码快速集成AGC崩溃服务
华为AGC的崩溃服务支持跨平台,按照文档整理了个React Native插件集成的文档,操作其实非常简单,真是零代码。有需要的开发者可以查阅或者自行下载Demo尝试集成。 集成步骤 1. 安装React Native依赖 npm install -g yarn 2. 开通服务&创建工程 在AGC创建 ...
分类:其他好文   时间:2021-01-13 10:56:51    阅读次数:0
集群测试
hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m,大于128m的会进行分块存储,下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 ...
分类:其他好文   时间:2021-01-12 11:13:14    阅读次数:0
hadoop完全分布式
虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 ...
分类:其他好文   时间:2021-01-12 10:50:26    阅读次数:0
Hadoop伪分布式模式
搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置:hadoop-env ...
分类:其他好文   时间:2021-01-11 11:23:14    阅读次数:0
spark (Java API) 在Intellij IDEA中开发并运行
概述:Spark 程序开发,调试和运行,intellij idea开发Spark java程序。分两部分,第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分,将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类:编程语言   时间:2021-01-08 10:56:23    阅读次数:0
YARN Registry DNS启动提示“53端口被占用”错误的解决方法
错误提示: ERROR dns.PrivilegedRegistryDNSStarter (PrivilegedRegistryDNSStarter.java:init(61)) - Error initializing Registry DNSjava.net.BindException: Pro ...
分类:其他好文   时间:2021-01-07 12:31:59    阅读次数:0
卸载Ambari
* 如果是非Ubuntu系统,下面的apt-get命令要换成yum命令。apt-cache search all | grep -> yum list installed | grepapt-get purge -y -> yum remove -y其中的参数-y是过程中所有提示都自动选yes的作用 ...
分类:其他好文   时间:2021-01-07 12:30:42    阅读次数:0
Impala和Hive的关系
1.为什么安装Impala一定要先安装Hive? Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。 2.Impala与Hive的关系? Impala 与Hive都是构建在Hadoop之上的 ...
分类:其他好文   时间:2021-01-06 11:58:32    阅读次数:0
Spark UDAF实现举例 -- average pooling
1.UDAF定义 spark中的UDF(UserDefinedFunction)大家都不会陌生, UDF其实就是将一个普通的函数, 包装为可以按 行 操作DataFrame中指定Columns的函数. 例如, 对某一列的所有元素进行+1操作, 它对应mapreduce操作中的map操作. 这种操作有 ...
分类:其他好文   时间:2021-01-04 11:31:11    阅读次数:0
18270条   上一页 1 ... 16 17 18 19 20 ... 1827 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!