码迷,mamicode.com
首页 >  
搜索关键字:hadoop    ( 14003个结果
Hive
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:其他好文   时间:2020-07-10 19:33:44    阅读次数:10
hadoop、yarn时间与集群时间不同
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类:其他好文   时间:2020-07-10 19:26:31    阅读次数:12
Hadoop集群之浅析安全模式
集群启动顺序: NameNode启动 NameNode启动时,首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的Fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。这个过程 ...
分类:其他好文   时间:2020-07-10 00:43:16    阅读次数:25
大数据之CEP报警信息
package com.baway.loginfaildetect import java.util import org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.{CEP, PatternStr ...
分类:其他好文   时间:2020-07-10 00:15:34    阅读次数:12
大数据之API操作HBase
package com.sjw.hbase; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org ...
分类:Windows程序   时间:2020-07-10 00:04:36    阅读次数:21
MapReduce实验
承接上一篇,NoSQL实验 MapReduce实验 如何在Eclipse中运行MapReduce程序,参考厦大数据库实验室博客 总体代码: package org.apache.hadoop.examples; import java.io.IOException; import java.util ...
分类:其他好文   时间:2020-07-09 15:08:03    阅读次数:10
hadoop集群的启动与停止
@ 单点启动 如果集群是第一次启动,需要格式化NameNode hadoop namenode -format 在某一台机器上启动NameNode节点 hadoop-daemon.sh start namenode 在其他机器上启动DataNode节点 hadoop-daemon.sh start ...
分类:其他好文   时间:2020-07-09 00:37:06    阅读次数:14
十分钟入门消息中间件
一大半程序员都拎不清的消息中间件
分类:其他好文   时间:2020-07-08 18:15:55    阅读次数:15
关于Hadoop启动之后jps没有namenode节点的解决方法
问题出在了我多次格式化导致namenode启动不了这时候就需要删除原目录,即core-site.xml下配置的hadoop.tmp.dir所指向的目录,重新建立配置的空目录 格式化namdenode,hadoop namenode -format再重新运行start-all.sh启动成功后再jps测 ...
分类:其他好文   时间:2020-07-08 13:26:55    阅读次数:14
大数据面试题
Linux部分 ①列举你使用的常用指令? ②怎么查看服务是否开启?后面的参数都是什么意思? ③怎么查看服务器内存使用情况? ④日志查看指令? ⑤跨机房怎么传输文件? Hadoop部分 ①怎么搭建一个Hadoop集群? ②Hadoop的Shuffer机制? ③切片概念?文件256M时,几个切片? ④M ...
分类:其他好文   时间:2020-07-08 13:03:03    阅读次数:14
14003条   1 2 3 4 ... 1401 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!