接上回，hadoop的配置文件都在下载的压缩包目录中的etc/hadoop/中 hadoop-env.sh有个地方配置java_home 其他常用的设置文件有： core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml 主机的hdfs-sit ...
分类：
其他好文 时间：
2017-10-24 00:11:24
阅读次数：
110
安装centos7 请参考 ：centos7 安装 新增hadoop用户 A．添加用户 Hadoop 执行命令：useradd hadoop B. 设置用户密码 执行命令：passwd Hadoop 设置密码。 C. 给该用户赋予sudo命令权限 执行命令：chmod u+w /etc/sudoer ...
分类：
其他好文 时间：
2017-10-23 00:56:31
阅读次数：
321
1、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 1) 可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 2) 遍历文件a，对每个url求取 ， ...
分类：
编程语言 时间：
2017-10-22 00:32:09
阅读次数：
226
题目： 需要将MR的执行结果保存到3个文件中，该怎么做。 又是一个送分题。 对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1，需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。 对于spark... ...
分类：
其他好文 时间：
2017-09-20 00:47:37
阅读次数：
185
Java学习这一部分其实也算是今天的重点，这一部分用来回答很多群里的朋友所问过的问题，那就是你是如何学习Java的，能不能给点建议？今天我是打算来点干货，因此咱们就不说一些学习方法和技巧了，直接来谈每个阶段要学习的内容甚至是一些书籍。这一部分的内容，同样适用于一些希望转行到Java的同学。 在大家看 ...
分类：
编程语言 时间：
2017-09-12 19:48:32
阅读次数：
177
在chd中 的hive中执行 (select count (*)) 或者mr程序都报Error: Java heap space 4、io.sort.mb 的作用 排序所使用的内存数量。 默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。 不能超过ma ...
分类：
编程语言 时间：
2017-09-01 20:27:24
阅读次数：
134
下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格... ...
分类：
其他好文 时间：
2017-08-30 22:33:49
阅读次数：
264
long interval = 900000; long startTime = new Date("2016/03/01 01:00:00").getTime(); long endTime = new Date("2016/03/31 23:59:59").getTime(); String t ...
分类：
数据库 时间：
2017-08-29 16:03:03
阅读次数：
143
原文地址：http://lixiangfeng.com/blog/article/content/7869717 转载请标明此处，谢谢！ 缓存是什么？为什么要使用缓存？ 缓存，通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。 缓存工具有哪些？区别在哪里？ 缓存工 ...
分类：
系统相关 时间：
2017-08-27 00:11:01
阅读次数：
232
搭建參看： http://blog.csdn.net/w13770269691/article/details/16883663/ 查看集群状态： [root@master bin]# hdfs dfsadmin -report Configured Capacity: 36729053184 (3 ...
分类：
其他好文 时间：
2017-08-19 17:07:59
阅读次数：
188
