码迷,mamicode.com
首页 >  
搜索关键字:mapr    ( 365个结果
天津东软实训第五天
今天主要学习了下面几个方面的内容: 1、MapReduce实战,读取气温。从十个文件中获取气温,并计算平均值。 2、通过HDFS读取MapReduce生成的文件,并把数据传入数据库。 3、SpringMVC的原理,使用,配置 下面回顾一下SpringMVC的使用: 首先,新建war模式的maven项 ...
分类:其他好文   时间:2018-07-14 14:51:44    阅读次数:150
Yum安装MongoDB及数据库管理
MongoDB简介MongoDB是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档,数组及文档数组。MongoDB主要
分类:数据库   时间:2018-07-13 16:21:19    阅读次数:227
Hadoop安装
Hadoop安装1、linux准备2、jdk准备,设置环境变量3、hadoop下载准备,解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类:其他好文   时间:2018-07-13 00:05:34    阅读次数:150
基础概念 之 Hadoop family
Hadoop家族的技术,网上资料多如牛毛,但是还是那句老话——好脑瓜不如烂笔头,看的再多也不如自己动手写一写。 Hadoop是一个分布式系统,有两个关键组件——HDFS和MapReduce,HDFS负责分布式文件存储,MapReduce是执行分布式任务的算法。 MapReduce只是一个分布式数据处 ...
分类:其他好文   时间:2018-07-02 19:28:10    阅读次数:164
hadoop入门-centos7.2安装hadoop2.8
1. 安装准备 (1)必须安装jdk: 因为hadoop是基于Java实现的,所有必须安装jdk 是JDK不是jre jdk1.7 jdk1.8 (2)系统位数 (3)创建专用用户 useradd hadoop passwd hadoop 为hadoop用户授予将要使用的文件夹权限 使用的文件夹有安 ...
分类:其他好文   时间:2018-06-18 13:57:43    阅读次数:619
hadoop集群安装
环境: centos6 32位 hadoop2.8.4 jdk1.8(此版本运行hadoop时会警告可无视)hadoop用户(非root普通用户) 主机ip:10.10.10.10 slave主机ip:20.20.20.20 请务牢记上述环境!!! 另外除非表明使用root用户外,皆用hadoop用 ...
分类:其他好文   时间:2018-06-14 23:16:07    阅读次数:263
hadoop window下安装 hadoop-2.6.0
一、官网下载hadoop http://hadoop.apache.orghttps://archive.apache.org/dist/hadoop/common/hadoop-2.6.0 管理员身份解压D:\Hadoop\hadoop-2.6.0二、winutils的下载还需要下载winutil ...
分类:Windows程序   时间:2018-06-14 14:57:58    阅读次数:302
hadoop安装、使用过程的异常汇总
2017年06月06日 17:27:39 阅读数:711 2017年06月06日 17:27:39 阅读数:711 阅读数:711 1、 启动yarn,resourceManger启动失败,日志报错: org.apache.hadoop.yarn.exceptions.YarnRuntimeExce ...
分类:其他好文   时间:2018-06-12 20:58:14    阅读次数:310
统计日志的不同条数
import collections import itertools import multiprocessing import bz2 class MapReduce(object): def __init__(self,map_func,reduce_func,num_workers=None... ...
分类:其他好文   时间:2018-06-11 14:49:41    阅读次数:146
[Hadoop]-MapReduce-使用篇
1.Mapper 1.1 泛型参数 Mapper有四个泛型参数,Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>: KEYIN:默认读取的一行文本的起始偏移量.Long类型,在Hadoop中包装成LongWriteable VALUEIN:默认读取的一行文本的字符串信 ...
分类:其他好文   时间:2018-06-06 18:24:08    阅读次数:619
365条   上一页 1 ... 16 17 18 19 20 ... 37 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!