当我们去熟悉一个概念的时候，为了更好的认识学习，倾向于全方面的了解，但是因为云计算尚处在一个快速发展的领域，还没有迎来顶峰，所以我们了解云计算就从概念、重要技术、主要公司以及当下情况就可以大致的了解这个领域，当别人谈起人工智能的时候，也不至于一脸懵逼。首先我们需要先了解概念，某科是这么解释的，透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析
分类：
其他好文 时间：
2018-06-23 13:08:20
阅读次数：
144
1、MapTask机制： （1）Read 阶段：客户端获取输入数据信息，根据配置文件形成一个任务分配规划（形成InputSplit），然后submit()方法提交job。AppMaster通过用户编写的 RecordReader，从InputSplit中用InputFormat（分为TextInpu ...
分类：
其他好文 时间：
2018-06-22 16:33:34
阅读次数：
226
pig的两种运行模式，local模式，mapreduce模式 local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使 ...
分类：
其他好文 时间：
2018-06-15 12:49:06
阅读次数：
219
一面：技术基础面+理论基础面 理论基础（重点是基础、潜力、学习能力、独立研究能力） 1.数据结构算法题目 如何计算有向无环图中的单源最短路径 如何判断一颗二叉树是对称的 如何用O(1)的时间复杂度计算栈中的最大最小值 如何复制一个双向链表（如何复制一个有向图） 介绍参加过数学建模、ACM程序设计大赛 ...
分类：
其他好文 时间：
2018-05-27 10:52:31
阅读次数：
200
一.简述如何安装配置apache的一个开源的hadoop使用root账户登陆2.修改ip3.修改host主机名4.配置ssh免密登陆5.关闭防火墙6.安装ＪＤＫ7.解压hadoop安装包8.配置hadoop的核心配置文件hadoop-env.sh?core-site.xml?mapred-site.xmlyarn-site.xmlhdfs-site.xml9.配置hadoop的环境变量10.格式化
分类：
其他好文 时间：
2018-05-21 19:39:26
阅读次数：
504
在执行一个demo程序的时候发现，数据量不大，但程序始终卡在 18/05/21 23:18:28 INFO mapreduce.Job: map 0% reduce 0% 解决步骤： 首先，查看日志。 如果是内存不足造成的。 在yarn的配置文件yarn-site.xml修改或添加，如下内容。 然后 ...
分类：
其他好文 时间：
2018-05-21 17:53:30
阅读次数：
640
MapReduce的处理过程分为两个步骤：map和reduce。 每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。 map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。 如果有多个map任务同时运行（通常都是这样） ...
分类：
其他好文 时间：
2018-05-21 17:01:46
阅读次数：
111
原文链接：https://blog.csdn.net/lylcore/article/details/9136555 hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是ma ...
分类：
其他好文 时间：
2018-05-18 23:28:33
阅读次数：
232
Java heap space问题一般解决方案： 设置 set io.sort.mb=10; 排序所使用的内存数量，默认值是100M，和mapred.child.java.opts相对应，opts默认：-Xmx200m,则mb不能超过200M，否则会OOM。 设置 set hive.map.aggr ...
分类：
编程语言 时间：
2018-05-17 13:35:08
阅读次数：
590
一、简介 oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。 oozie server运行与tomcat容器中 oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce ...
分类：
其他好文 时间：
2018-05-16 00:46:29
阅读次数：
260
