今天主要学习了下面几个方面的内容: 1、MapReduce实战,读取气温。从十个文件中获取气温,并计算平均值。 2、通过HDFS读取MapReduce生成的文件,并把数据传入数据库。 3、SpringMVC的原理,使用,配置 下面回顾一下SpringMVC的使用: 首先,新建war模式的maven项 ...
分类:
其他好文 时间:
2018-07-14 14:51:44
阅读次数:
150
MongoDB简介MongoDB是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档,数组及文档数组。MongoDB主要
分类:
数据库 时间:
2018-07-13 16:21:19
阅读次数:
227
Hadoop安装1、linux准备2、jdk准备,设置环境变量3、hadoop下载准备,解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map ...
分类:
其他好文 时间:
2018-07-13 00:05:34
阅读次数:
150
Hadoop家族的技术,网上资料多如牛毛,但是还是那句老话——好脑瓜不如烂笔头,看的再多也不如自己动手写一写。 Hadoop是一个分布式系统,有两个关键组件——HDFS和MapReduce,HDFS负责分布式文件存储,MapReduce是执行分布式任务的算法。 MapReduce只是一个分布式数据处 ...
分类:
其他好文 时间:
2018-07-02 19:28:10
阅读次数:
164
1. 安装准备 (1)必须安装jdk: 因为hadoop是基于Java实现的,所有必须安装jdk 是JDK不是jre jdk1.7 jdk1.8 (2)系统位数 (3)创建专用用户 useradd hadoop passwd hadoop 为hadoop用户授予将要使用的文件夹权限 使用的文件夹有安 ...
分类:
其他好文 时间:
2018-06-18 13:57:43
阅读次数:
619
环境: centos6 32位 hadoop2.8.4 jdk1.8(此版本运行hadoop时会警告可无视)hadoop用户(非root普通用户) 主机ip:10.10.10.10 slave主机ip:20.20.20.20 请务牢记上述环境!!! 另外除非表明使用root用户外,皆用hadoop用 ...
分类:
其他好文 时间:
2018-06-14 23:16:07
阅读次数:
263
一、官网下载hadoop http://hadoop.apache.orghttps://archive.apache.org/dist/hadoop/common/hadoop-2.6.0 管理员身份解压D:\Hadoop\hadoop-2.6.0二、winutils的下载还需要下载winutil ...
2017年06月06日 17:27:39 阅读数:711 2017年06月06日 17:27:39 阅读数:711 阅读数:711 1、 启动yarn,resourceManger启动失败,日志报错: org.apache.hadoop.yarn.exceptions.YarnRuntimeExce ...
分类:
其他好文 时间:
2018-06-12 20:58:14
阅读次数:
310
import collections import itertools import multiprocessing import bz2 class MapReduce(object): def __init__(self,map_func,reduce_func,num_workers=None... ...
分类:
其他好文 时间:
2018-06-11 14:49:41
阅读次数:
146
1.Mapper 1.1 泛型参数 Mapper有四个泛型参数,Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>: KEYIN:默认读取的一行文本的起始偏移量.Long类型,在Hadoop中包装成LongWriteable VALUEIN:默认读取的一行文本的字符串信 ...
分类:
其他好文 时间:
2018-06-06 18:24:08
阅读次数:
619