原理： spark作业sparkcontext、DAGDAGSchedler、taskSchulder、会将编写算子、切割成大量的task，会提交到application的excutor上执行如何资源设置cup core和excutor较少，就会造成能并行处理的task数量较少，从而就会增加task ...
分类：
其他好文 时间：
2018-05-14 12:29:42
阅读次数：
138
Description ICPC (Isles of Coral Park City) consist of several beautiful islands. The citizens requested construction of bridges between islands to re ...
分类：
其他好文 时间：
2018-05-10 20:21:46
阅读次数：
148
Description ICPC (Isles of Coral Park City) consist of several beautiful islands. The citizens requested construction of bridges between islands to re ...
分类：
其他好文 时间：
2018-05-08 17:41:08
阅读次数：
204
下面是总结的一些产品人经常逛的社区网址1.产品壹佰 http://www.chanpin100.com/2.36氪 http://36kr.com/3.PMcaff https://www.pmcaff.com/4.虎嗅 https://www.huxiu.com/5.极客公园 http://www ...
分类：
其他好文 时间：
2018-05-08 17:40:18
阅读次数：
190
题目链接 ：http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=5592 Japari Park is a large zoo home to extant species, endangered species, extinct s ...
分类：
其他好文 时间：
2018-05-07 13:42:04
阅读次数：
227
BAT大咖助力 全面升级Android面试 BAT大牛亲授 基于ElasticSearch的搜房网实战 从天气项目看Spring Cloud微服务治理 Java企业级电商项目架构演进之路 Tomcat集群与Redis分布式 Java深入微服务原理改造房产销售平台 SSM到Spring Boot-从零 ...
分类：
编程语言 时间：
2018-05-02 16:05:52
阅读次数：
494
本文是Python大数据与机器学习系列文章中的第6篇，将介绍学习Python大数据与机器学习所必须的NumPy库。 通过本文系列文章您将能够学到的知识如下： 应用Python进行大数据与机器学习 应用Spark进行大数据分析 实现机器学习算法 学习使用NumPy库处理数值数据 学习使用Pandas库 ...
分类：
编程语言 时间：
2018-05-02 15:50:11
阅读次数：
236
网易开源镜像站：http://mirrors.163.com/ 阿里云镜像站：https://opsx.alibaba.com/mirror python官网：https://www.python.org/ Ubuntu中文社区：http://wiki.ubuntu.org.cn/%E9%A6%96 ...
分类：
编程语言 时间：
2018-05-01 20:26:06
阅读次数：
161
1. 概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台；而MapReduce等运算程序则相当运行于操作系统之上的应用程序。 2. YARN的重要概念 1、yarn并不清楚用户提交的程序的运行机制；2、yarn只提供运算资源的调度(用户程序向yarn申 ...
分类：
其他好文 时间：
2018-04-30 12:02:55
阅读次数：
135
Scala与Java的关系 1、都是基于JVM虚拟机运行的 Scala编译之后的文件也是.class，都要转换为字节码，然后运行在JVM虚拟机之上。 2、Scala和Java相互调用 在Scala中可以直接调用Java的代码，同时在Java中也可以直接调用Scala的代码 3、Java8 VS Sc ...
分类：
其他好文 时间：
2018-04-24 17:43:45
阅读次数：
164
