1. 安装JDK a.查出当前已经安装的JDK # rpm -qa | grep java b.卸载原先自带的JDK # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.e ...
分类：
其他好文 时间：
2016-05-24 11:54:36
阅读次数：
164
前言 首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实 ...
分类：
其他好文 时间：
2016-05-23 14:43:38
阅读次数：
300
准备工作 操作系统 CentOS 7 软件环境 关闭防火墙 设置HostName 安装环境 安装JDK 配置java环境变量 验证java 待输出以上内容时说明java已安装配置成功。 安装Hadoop 下载Hadoop 2.6.4 安装Hadoop 2.6.4 配置Hadoop环境变量 验证Had ...
分类：
其他好文 时间：
2016-05-21 10:12:05
阅读次数：
218
1上传hadoop包 2解压hadoop包 首先在根目录创建一个目录 mkdir /itcast tar -zxvf hadoop-2.4.1.tar.gz -C /itcast/ hadoop的配置文件在：/itcast/hadoop-2.4.1/etc/hadoop下 注意：hadoop2.x的... ...
分类：
其他好文 时间：
2016-05-21 01:27:50
阅读次数：
186
1.通过python编写爬虫，数据存储到hdfs当中 2.通过solr在hdfs当中建立索引并实现全文检索功能 好了，正文开始了！ 一，环境搭建 1.python3.4.4安装及环境变量配置 2.hadoop2.6.3安装及环境变量配置（单机） 3.solr5.5安装及配置 1. 下载tomcat9 ...
分类：
编程语言 时间：
2016-05-20 09:53:34
阅读次数：
294
一、环境准备 1、Ubuntu14.04-server 2、ssh 3、jdk1.6 4、hbase-0.98.19-hadoop2-bin.tar.gz（下载地址http://www.apache.org/dyn/closer.cgi/hbase/） 二、安装步骤 1、解压hbase软件包 sud ...
分类：
数据库 时间：
2016-05-18 10:33:58
阅读次数：
172
一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archiv..
分类：
其他好文 时间：
2016-05-17 19:46:54
阅读次数：
283
Yarn resourceManager 无法启动 错误日志： 在日志hadoop2/logs/arn-daiwei-resourcemanager-ubuntu1.log中 problem binding to [ubuntu1:8036] java.net.BindException: Addr ...
分类：
其他好文 时间：
2016-05-15 07:02:31
阅读次数：
358
在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 2 ...
分类：
编程语言 时间：
2016-05-14 15:32:00
阅读次数：
233
关于这个spark的环境搭建了好久，踩了一堆坑，今天 环境： WIN7笔记本 spark 集群（4个虚拟机搭建的） Intelij IDEA15 scala-2.10.4 java-1.7.0 版本问题： 个人选择的是hadoop2.6.0 spark1.5.0 scala2.10.4 jdk1.7 ...
分类：
Windows程序 时间：
2016-05-13 18:49:39
阅读次数：
4862
