曾经多次安装Ubuntu虚拟机，但是都没有将安装遇到的问题进行总计，这次准备搭建hadoop集群，因此又折腾起来。将安装遇到的问题，进行总结。使用Ubuntu10.04LTS镜像。安装完成后，先配置成国内更新源由于默认情况下没有vim可用，因此先用gedit进行文本可视化编辑。sudo gedit ...
分类：
系统相关 时间：
2015-07-18 19:56:31
阅读次数：
156
1、检查网络状况Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址 打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机...
分类：
其他好文 时间：
2015-07-16 23:55:00
阅读次数：
145
准备工作
先在win系统的hosts文件里添加以下内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar，将其拷贝到eclipse 安装目录下的plugins，再启动eclispe，这时在eclip...
shell-mysql? （1）脚本背景:? 由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包， 上传到Linux上，如果...
分类：
数据库 时间：
2015-07-15 15:22:59
阅读次数：
158
运行pig时报如下错误
2015-07-14 10:41:12,869 [main] ERROR org.apache.pig.Main - ERROR 2998: Unhandled internal error. Found interface jline.Terminal, but class was expected
解决办法：
删除{HADOOP_HOME}/share/had...
分类：
其他好文 时间：
2015-07-14 11:26:47
阅读次数：
113
最近在应用Hadoop集群时，碰上了任务提交集群后，长时间卡在accepted状态，申请资源困难的情况，经过一系列的日志分析，状况排查，才发现是由于NameNode出现过主备切换导致，之前的NameNode主节点由于某种原因宕掉导致主备切换发生，刚好时间卡在业务高峰期，部分数据块未同步（或其他原因，...
分类：
其他好文 时间：
2015-07-13 20:32:23
阅读次数：
119
在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0///( https://archive.apache.org/dist/hadoop/co...
分类：
其他好文 时间：
2015-07-11 19:59:30
阅读次数：
145
业务需求说明：公司在部署hadoop集群和DB server与SAN存储，公司的想法是前端通过DB Server能够将非结构化的数据能放进SAN存储当中，而hadoop集群也能够访问这个SAN存储。因此需要在SAN磁盘阵列中开辟一个共享区域，这个区域技能让DB server能够访问，也能够让hado...
环境：Windows8.1，Eclipse用Hadoop自带的wordcount示例hadoop2.7.0hadoop-eclipse-plugin-2.7.0.jar //Eclipse的插件，需要对应Hadoop当前版本基本步骤有很多博客已经提及，就不再赘述1. 将hadoop-eclipse-...
分类：
系统相关 时间：
2015-07-08 18:30:02
阅读次数：
328
在hadoop集群上搭好spark环境及体验spark shell之后可以重新做做官方的快速上手。运行独立程序（SimpleApp.py）：
首先编写程序（这里用Pytho的API）：
from pyspark import SparkContextlogFile = "README.md" #注意这里的文件是在hdfs中的
sc = SparkContext("local","Simp...
分类：
移动开发 时间：
2015-07-05 18:37:23
阅读次数：
218
