参加工作3年到4年的同学这个阶段的同学,提升已经是很难了,而且这个阶段的学习往往会比较多样化。 因为在前3年的过程中,你肯定或多或少接触过一些其它的技术,比如大数据、分布式缓存、分布式消息服务、分布式计算、软负载均衡等等。这些技术,你能精通任何一项,都将是你未来面试时巨大的优势,因此如果你对某一项技 ...
分类:
编程语言 时间:
2017-11-12 14:53:32
阅读次数:
193
? 纹理内存读取函数 ? 表面内存读写函数 ...
分类:
其他好文 时间:
2017-11-12 01:01:41
阅读次数:
216
样例准备 条件过滤 sql:select * from student where sex='male'; mr:该操作属于比较简单的操作,直接在map阶段对数据进行过滤操作即可。 分组统计 sql:select class_name,count(*) from student group by c ...
分类:
数据库 时间:
2017-11-08 17:45:52
阅读次数:
178
方法一: a.第一步:在job中加载两个文件所在的位置 FileInputFormat.setInputPaths(job, new Path[] { new Path("hdfs://192.168.9.13:8020/gradeMarking"), new Path("hdfs://192.16 ...
分类:
其他好文 时间:
2017-11-05 22:26:15
阅读次数:
359
概念: 分布式系统: 组件分布在网络计算机上,组件之间仅仅通过消息传递来通信并协调行动。 节点: 完成一组完整逻辑的程序个体,对应于server上的一个独立进程。 异常: 在分布式系统中还存在着一种状态:超时,意味着结果完全不确定。分布式协议就是保证系统在各种异常情形下仍能正常的工作。 CAP理论: ...
分类:
其他好文 时间:
2017-11-01 13:38:38
阅读次数:
189
原因: 解决方案一: 如果无效,请检查系统环境变量中HADOOP_HOME设置的hadoop版本是否与插件版本一致。 解决方案二: 参考:windows编译hadoop 2.x Hadoop-eclipse-plugin插件(讲解得非常详细,后续安装插件的部分以及问题异常也很详细,很nice的一个帖 ...
分类:
Web程序 时间:
2017-10-24 19:30:22
阅读次数:
367
Hadoop1.x构成: HDFS、MapReduce(资源管理和任务调度);运行时环境为JobTracker和TaskTracker; Hadoop2.0构成:HDFS、MapReduce/其他计算框架、YARN; 运行时环境为YARN 1、HDFS:HA、NameNode Federation ...
分类:
其他好文 时间:
2017-10-16 23:23:09
阅读次数:
237
map/ reduce 了解: 简单介绍map/reduce 模式: http://www.csdn.net/article/2013-01-07/2813477-confused-about-mapreduce http://www.cnblogs.com/forfuture1978/archiv ...
分类:
编程语言 时间:
2017-10-12 19:03:04
阅读次数:
198
YARN是分布式资源管理,每一台机器都要去管理该台计算机的资源,Yarn负责为MapReduce程序分配运算硬件资源。每一台机器的管理者叫 NodeManager,整个集群的管理者管理着整个集群的NodeManager,叫 ResourceManager。 YARN架构图,来源于官网:http:// ...
分类:
其他好文 时间:
2017-10-09 09:48:15
阅读次数:
144