一、Django版本与python版本对应关系 对于初学者，适合学习1.11版本（我这里对应python用的3.5.3），1.11版本既有新的特性，又不像2.0,2.1及以上版本高强度的依赖插件，致使一 些学者没有插件就过不了；而且这些插件还没有很好的支持python3.0。使用Django1.11 ...
分类：
其他好文 时间：
2019-10-29 23:32:16
阅读次数：
91
一、数据压缩在hadoop中的意义1、基本概述?压缩技术可以减少底层hdfs的读写字节数。并且能够降低在数据传输过程中占用的网络带宽资源，以及降低占用的磁盘空间。而在MapReduce中，shuffle以及merge过程都面临着巨大的IO压力。但是要注意增加了压缩，另外一方面会增加cpu的负载。所以在要权衡好是否采用压缩，以及采用的压缩算法的特性。2、压缩应用基本原则运算密集型的job，少用压缩。
分类：
其他好文 时间：
2019-10-29 13:44:07
阅读次数：
84
@Override public BaseResponse transferStuPlan(GxyPlanTeacherStudentEntity teacherStudentEntity) { boolean stuIHaveJob = false; List<GxyPlanTeacherStud ...
分类：
其他好文 时间：
2019-10-29 11:41:08
阅读次数：
84
一个job对应一个action操作，action执行会有先后顺序； 每个job执行会先构建一个DAG路径，一个job会含有多个stage，主要逻辑在DAGScheduler。 spark提交job的源码见（SparkContext.scala的runJob方法）： DAGScheduler--job ...
分类：
其他好文 时间：
2019-10-27 17:08:08
阅读次数：
115
static boolean listIn(List list, anyType element){ boolean ret = false; ListEnumerator listE = list.getEnumerator(); ; if (list.typeId() != typeof(ele ...
分类：
其他好文 时间：
2019-10-26 16:55:18
阅读次数：
87
需求 最近负责的一个项目是微服务开发，我所开发的服务里有个定时任务，如果在集群环境下仅仅使用@scheduled，会发生定时任务幂等的问题。 可以采取的解决方案： 1.通过在配置文件设置定时任务开关，只允许一台开启定时任务。考虑到使用了nacos作为配置中心，单节点定时任务对单台服务器的压力以及单点 ...
分类：
其他好文 时间：
2019-10-26 13:40:07
阅读次数：
227
需求说明系统环境：linux（centos7）备份内容：增量备份结合全量备份公司中的生产服务器数据非常重要，所以我们需要通过备份服务器将生产服务器的数据进行备份。rsync的增量备份，不单单会同步新增的内容，就连删除的内容也会同步。假如管理代码人员误操作将代码误删除，那么备份服务器检测到备份原的数据产生变化后，也会与其同步，此时生产服务器与备份服务器的代码都会丢失。增量备份要求的频率较高，但在生产
分类：
系统相关 时间：
2019-10-25 23:39:32
阅读次数：
170
一、基本原理?reduce执行完毕之后，每个reduce都会将KV输出到一个文件中。那么KV输出到文件中时是以什么格式输出的呢？这就涉及到两个抽象类：OutputFormat和RecordWriter。1、OutputFormatpublicabstractclassOutputFormat<K,V>{publicOutputFormat(){}publicabstractRecord
分类：
其他好文 时间：
2019-10-25 09:23:50
阅读次数：
108
一、mapjoin1、适用场景：一张表很大，一张表很小2、解决方案：在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端的数据压力，尽可能减少数据倾斜。3、具体方法：采用分布式缓存（1）在mapper的setup阶段，将文件读取到缓存集合中（2）在driver中加载缓存，job.addCacheFile(newURI("file:/e:/mapjoincach
分类：
其他好文 时间：
2019-10-25 09:18:03
阅读次数：
61
当job提交至yarn之后，就会开始调度运行map任务，这里开始讲解map输入的源码分析。一个map任务的入口就是MapTask.class中的run()方法1、首先看看MapTask.run()方法MapTask.class//---------------------------------MapTask.javapublicvoidrun(JobConfjob,TaskUmbilicalPr
分类：
其他好文 时间：
2019-10-24 20:00:59
阅读次数：
69
