码迷,mamicode.com
首页 >  
搜索关键字:hadoop 2.6.0源码编译    ( 13955个结果
Hive常用交互命令—悟空智慧教育
1.“-e”不进入hive的交互窗口执行sql语句$ bin/hive -e "select id from student;"2.“-f”执行脚本中sql语句 (1)在/opt/module/datas目录下创建hivef.sql文件[hadoop@master datas]$ touch hiv ...
分类:其他好文   时间:2019-11-26 22:46:38    阅读次数:92
Spark相关知识
基本概念: Spark作为新一代大数据计算引擎,因为内存计算的特性,具有比hadoop更快的计算速度。是一个分布式计算框架,旨在简化运行于计算机集群上的并行程序的编写。RDD:是spark核心数据处理模型,弹性分布式数据集(Resilient Distributed Dataset)是分布式内存的一 ...
分类:其他好文   时间:2019-11-26 16:12:00    阅读次数:95
Kafka原理及单机部署
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,
分类:其他好文   时间:2019-11-26 09:35:53    阅读次数:66
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用,不过我认为与其使用pig ...
分类:其他好文   时间:2019-11-26 09:26:54    阅读次数:75
Hadoop Illuminated——Chapter3 Why do I Need Hadoop?
2019-11-25 22:13:53 GitHub:https://github.com/elephantscale/HI-labs/tree/master/hadoop-admin 作者Github:https://github.com/markkerzner 作者Github:https:// ...
分类:其他好文   时间:2019-11-25 23:14:38    阅读次数:70
10-大数据入门二
[hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh19/07/03 21:02:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... us ...
分类:其他好文   时间:2019-11-25 18:27:12    阅读次数:76
09-大数据入门一
Hadoop [翻译大象] 广义: 以apache hadoop软件为主的生态圈(hive sqoop spark flink....)狭义: apache hadoop软件 以后这些网站经常用到hadoop.apache.orghive.apache.orgspark.apache.org had ...
分类:其他好文   时间:2019-11-25 15:21:18    阅读次数:134
初识Spark
Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下 ...
分类:其他好文   时间:2019-11-25 11:52:12    阅读次数:62
[转帖]Zookeeper入门看这篇就够了
Zookeeper入门看这篇就够了 https://my.oschina.net/u/3796575/blog/1845035 Zookeeper是什么 官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一 ...
分类:其他好文   时间:2019-11-25 09:29:52    阅读次数:49
在Docker中跑Hadoop与镜像制作
  重复造轮子,这里使用重新打包生成一个基于Docker的Hadoop镜像;   Hadoop集群依赖的软件分别为:jdk、ssh等,所以只要这两项还有Hadoop相关打包进镜像中去即可; 配置文件准备 1、Hadoop相关配置文件:core site.xml ...
分类:其他好文   时间:2019-11-25 09:24:09    阅读次数:82
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!