数据结构与算法介绍 数据结构与算法的重要性 算法是程序的灵魂，优秀的程序可以在海量数据计算时，任然保持高速运算 框架和缓存技术的核心时算法 高薪 数据结构与算法的关系 数据(data)结构(Structure)是一门研究组织数据方式的学科，有了编程语言也就有了数据结构 程序 = 数据结构 + 算法 ...
分类：
编程语言 时间：
2020-02-14 20:53:40
阅读次数：
69
jquery.qrcode.js 是一个纯浏览器用于生成二维码图片的插件，生成的 QRcode 无需下载图片，并且不依赖第三方服务,下面插件使用的是压缩版本，大小不超过4K qrcode.js 是实现二维码数据计算的核心类， jquery.qrcode.js 是把它用jquery方式封装起来的，用它 ...
分类：
Web程序 时间：
2020-02-12 00:32:13
阅读次数：
158
弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具 ...
分类：
其他好文 时间：
2020-02-09 23:55:54
阅读次数：
139
Unicode介绍 Unicode是一张编码表格，包含了世界上每个国家所有的字符对应的二进制数据 计算机只能识别二进制，例如010101001这种二进制数据（计算机使用高低电平表示0和1）。 但是这些二进制人是难以看懂的，于是美国人就用ASCII码制作了一张表，包含了从a，b，c，.....@%$等 ...
分类：
其他好文 时间：
2020-02-08 17:21:07
阅读次数：
127
一：U盘的基本工作原理 USB端口负责连接电脑，是数据输入或输出的通道； 主控芯片负责各部件的协调管理和下达各项动作指令，并使计算机将U盘识别为“可移动磁盘”，是U盘的“大脑”； FLASH芯片与电脑中内存条的原理基本相同，是保存数据的实体，其特点是断电后数据不会丢失，能长期保存； PCB底板是负责 ...
分类：
其他好文 时间：
2020-02-02 21:56:53
阅读次数：
144
今天我主要了解了spark的一些专业名词以及相关特点： spark简介： 最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据计算框架，可用于构建大型，低延迟的数据分析应用程序 2014年打破了hadoop保持的基准排序记录 Spark具有以下特点： 运行速度快：使用DAG ...
分类：
其他好文 时间：
2020-01-31 20:45:10
阅读次数：
107
一、业务架构 二、大数据全链路架构 三、主流框架 3.1 第一代大数据框架: 各自为战 3.2 第二代大数据计算框架 3.3 第三代大数据计算框架 Flink 集群启动 格式化集群 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。 注意：首次启动HDFS时，必须对其进行格式化 ...
分类：
其他好文 时间：
2020-01-29 23:28:23
阅读次数：
139
今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
写博客是时隔两天，但学习并没有停止。 这一篇博客还是写一下关于Spark基础知识的，上次只是总体名词的理解。 Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务 于是RDD——由DAG图帮助形成的分布式内存的数据集帮助Spar ...
分类：
其他好文 时间：
2020-01-18 14:39:51
阅读次数：
104
