一、参考文献是对期刊论文引文进行统计和分析的重要信息源之一，在本规范中采用 GB 7714推荐的顺序编码制编排。 二、参考文献著录项目 a. 主要责任者 (专著作者、论文集主编、学位申报人、专利申请人、报告撰写人、期刊文章作者、析出文章作者)。多个责任者之间以“，”分隔，注意在本项数据中不得出现 ...
分类：
其他好文 时间：
2018-03-25 12:02:01
阅读次数：
195
程序为什么需要内存 程序运行的目的： 程序运行是为了得到一定的结果，程序运行其实是在做一系列的数据计算，所以：程序=代码+数据； 程序运行是为了得到一定的结果，程序运行其实是在做一系列的数据计算，所以：程序=代码+数据； 程序运行的目的不外乎2个：过程、结果； 用函数来类比：函数的形参就相当于代加工 ...
分类：
其他好文 时间：
2018-03-10 01:31:10
阅读次数：
205
Spark最基本、最根本的数据抽象 RDD基于内存，提高了迭代式、交互式操作的性能 RDD是只读的，只能通过其他RDD批量操作来创建，提高容错性 另外RDD还具有位置感知性调度和可伸缩性 RDD只支持粗粒度转换，记录Lineage，用于恢复丢失的分区，从物理存储的数据计算出相应的RDD分区 RDD的 ...
分类：
其他好文 时间：
2018-03-06 23:16:00
阅读次数：
180
一：试述大数据对思维方式的重要影响。 二：详细阐述大数据、云计算、物联网之间的区别与联系。 联系：三者之间，大数据为基础，物联网为脉络、云计算为处理中心。云计算通过物联网来获取和传输大数据。 三：简述你对大数据应用与发展的看法，以及你在这次大数据浪潮中想扮演什么角色。 大数据是近年才流行起来的概念， ...
分类：
其他好文 时间：
2018-03-06 20:13:37
阅读次数：
147
再说这行代码之前,咱们先来预习一下知识. 我们都知道计算机操作系统分为32位或者64位.那么这个32位或64位指的是什么意思呢?其实,要想解释它并不难,其实这就是计算机处理数据的机制,32位表示计算机的CPU(中央处理 器)一次性能够处理32位的数据,计算机数据都是按位来存储的,单位就是8位(bit ...
分类：
Web程序 时间：
2018-03-02 22:07:24
阅读次数：
287
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作 ...
分类：
其他好文 时间：
2018-02-23 13:29:33
阅读次数：
198
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2018-02-23 10:46:05
阅读次数：
154
Spark是时下非常热门的大数据计算框架，以其卓越的性能优势、独特的架构、易用的用户接口和丰富的分析计算库，正在工业界获得越来越广泛的应用。与Hadoop、HBase生态圈的众多项目一样，Spark的运行离不开JVM的支持。由于Spark立足于内存计算，常常需要在内存中存放大量数据，因此也更依赖JV ...
分类：
其他好文 时间：
2018-02-21 10:42:43
阅读次数：
239
前面介绍了numpy和pandas的数据计算功能．但是这些数据都是我们自己手动输入构造的．如果不能将数据自动导入到python中，那么这些计算也没有什么意义．这一章将介绍数据如何加载以及存储． 首先来看读写文本格式的数据 pandas提供了一些用于将表格型数据读取为DataFrame对象的函数．如下 ...
分类：
编程语言 时间：
2018-02-16 15:19:42
阅读次数：
232
题目如下： 解题思路：直接把每行的数据计算出来肯定是不行的，因为N最大是30，那个第N行长度就是2^30次方，这显然不可取。那么就只能找规律了，我采取的是倒推法。例如假如我们要求出第四行第七个元素的值，记为[4,7]，显然[4,7]是从第三行的第四个元素计算得来的[3,4]，依次类推接下来是[2,2 ...
分类：
其他好文 时间：
2018-02-05 23:28:47
阅读次数：
352
