hadoop是什么？WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.在ApacheHadoop项目开发开源软件，可靠，可扩展，分布式计算。解决问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）资源管理调度（YA..
分类：
其他好文 时间：
2015-03-30 09:42:51
阅读次数：
251
一、Hive数据导入导出1、hive数据导出 很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。 1.将select的结果放到一个的的表格中（首先要用create ...
分类：
其他好文 时间：
2015-03-28 12:51:52
阅读次数：
126
0.上传日志文件到linux中，通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类：
Web程序 时间：
2015-03-28 08:51:36
阅读次数：
156
一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS2.01、解决HDFS1.0中单点故障和内存受限问题。2、解决单点故障HDFSHA通过主备NameNode解决如果主NameNode发生故..
分类：
其他好文 时间：
2015-03-21 21:29:17
阅读次数：
356
MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，....
分类：
其他好文 时间：
2015-03-21 21:09:37
阅读次数：
168
Hadoop是Apache软件基金会旗下的开源分布式存储计算平台，它以HDFS（Hadoop Distributed File System）和MapReduce为核心，为用户提供了系统底层细节透明的分布式基础架构。其中，HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上.....
分类：
其他好文 时间：
2015-03-21 11:14:44
阅读次数：
189
环境说明如下：192.168.2.96SN2015-02-96192.168.2.97SN2015-02-97192.168.2.98SN2015-02-98安装1，安装jdk环境：===============================================vimjdk-install.sh#!/bin/shpwdmkdir/datacd/datawgethttp://xxx/jdk-7u55-linux-x64.rpmrpm-ivhjdk-7u55-linux..
分类：
其他好文 时间：
2015-03-20 18:51:32
阅读次数：
200
Sqoop简单的来说可以实现关系型数据库和HDFS之间的数据互相转移。大多数的测试资料都是基于mysql的实现可是在测试连接oracle的时候却出现了问题错误一：连接问题，在企业级应用中，对于机器的端口通信是有着比较严的控制，所以会经常遇到无法连接数据库、被拒绝的异常解决 ：hadoop的所有节点，...
分类：
数据库 时间：
2015-03-20 18:22:33
阅读次数：
693
看书时发现书中写的不一定是正确的。
eg：
scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")
15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=280248975
1...
分类：
其他好文 时间：
2015-03-19 20:24:09
阅读次数：
200
