码迷,mamicode.com
首页 >  
搜索关键字:hadoop 分布式安装示例    ( 13955个结果
从RDD创建DataFrame
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() import pandas as pd import numpy as np arr = np.arange(6).reshape(-1 ...
分类:其他好文   时间:2021-05-24 08:54:40    阅读次数:0
常见未授权访问测试脚本
扫描以下常见未授权访问 redis、mongodb、memcached、elasticsearch、zookeeper、ftp、CouchDB、docker、Hadoop 安装 pip3 install -r requirements.txt -i https://mirrors.aliyun.co ...
分类:其他好文   时间:2021-05-24 08:32:18    阅读次数:0
团队冲刺阶段的要求2
项目预计第一阶段花费十天的时间,第二阶段粗略估计要花一个月,因为第二阶段所需要的技术,像 Hadoop,kafka之类的之前并没有接触过,而第一阶段的工作,css、JavaScript、HTML,echarts等 在之前的学习中已有涉猎。目前已经花费十天,还剩余一个月 产品状态:目前已实现获取当前热 ...
分类:其他好文   时间:2021-05-24 07:14:48    阅读次数:0
hadoop 启动dfs失败(but there is no HDFS_NAMENODE_USER defined)
https://blog.csdn.net/linuxvfast/article/details/93720931 在Hadoop安装目录下找到sbin文件夹 在里面修改四个文件 对于start-dfs.sh和stop-dfs.sh文件,添加下列参数: #!/usr/bin/env bash HDF ...
分类:其他好文   时间:2021-05-24 06:40:05    阅读次数:0
centos7安装配置Hadoop集群
2、安装3台虚拟机并实现SSH免密登录 (1)安装三台虚拟机centos7 第一台正常安装,后两台做克隆。配置好IP地址,关闭防火墙跟SELINUX。 106.14.69.185 server1 121.5.218.141 server2 (2)修改用户名以及对应的IP # vi /etc/host ...
分类:其他好文   时间:2021-05-24 05:35:32    阅读次数:0
记一次部署Hadoop后遭受kthreaddi挖矿病毒
云服务器在部署Hadoop后便被黑了,查看进程发现了kthreaddi占满了CPU。 ...
分类:其他好文   时间:2021-05-24 01:55:01    阅读次数:0
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
hdfs dfsadmin -report hadoop fsck -locations ...
分类:其他好文   时间:2021-05-24 01:37:15    阅读次数:0
Hadoop集群管理脚本
这里介绍两个常用的管理hadoop集群的脚本 hadoop集群启停脚本myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop ...
分类:其他好文   时间:2021-05-04 15:28:54    阅读次数:0
Hadoop目录
01.安装VMware,加载centos镜像软件。配置主机、VMware、Windows的IP地址。 02.hadoop中目录介绍:bin目录 hdfs 、mapred、 yarn 命令 etc目录包含hdfs 、mapred、 yarn 相关的配置文件 sbin 目录与集群相关的命令 share目 ...
分类:其他好文   时间:2021-04-29 11:57:44    阅读次数:0
Hadoop组件
#Hadoop 分布式计算平台,同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8,引入纠删码,重写shell脚本,支持超过两个NameNode, ...
分类:其他好文   时间:2021-04-27 15:04:12    阅读次数:0
13955条   上一页 1 ... 3 4 5 6 7 ... 1396 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!