一.简介 1.什么是spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduc ...
分类：
其他好文 时间：
2019-12-30 14:10:45
阅读次数：
100
通过分析对比EdgeX Foundry、K3S、KubeEdge、StarlingX和OpenEdge五个开源边缘计算框架的差异，推荐选择华为开源的KubeEdge边缘计算集群方案来自建边缘计算集群。 一、五个边缘计算开源框架的简介： 1）EdgeX Foundry Linux基金组织的开源项目。偏 ...
分类：
其他好文 时间：
2019-12-26 21:30:48
阅读次数：
699
01. Propel：JS的科学计算框架 Propel 是一种 JavaScript 科学计算框架，类似于 Python 中的科学计算库 NumPy，也就是说利用 JS 也可以进行机器学习啦。Propel可以依靠 TensorFlow 来提高性能，适用于Node 和浏览器环境。 详情：http:// ...
分类：
其他好文 时间：
2019-11-30 11:26:54
阅读次数：
92
基本概念： Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。RDD：是spark核心数据处理模型，弹性分布式数据集(Resilient Distributed Dataset)是分布式内存的一 ...
分类：
其他好文 时间：
2019-11-26 16:12:00
阅读次数：
95
1 经典的算法题目 1.1 字符串匹配问题 有一个字符串str1="哈哈哈 你好啊好啊 你好啊啊 你好啊好啊啊你好你好好"，和一个子串str2="你好啊好啊啊". ①判断str1中是否是否包含str2，如果存在，就返回第一次出现的问题。如果没有，则返回-1. ②要求用最快的速度完成匹配。 思路1：暴 ...
分类：
编程语言 时间：
2019-11-17 17:31:53
阅读次数：
108
腾讯开源再次迎来重磅项目，14日，腾讯正式宣布开源高性能图计算框架Plato，这是在短短一周之内，开源的第五个重大项目。 相对于目前全球范围内其它的图计算框架，Plato可满足十亿级节点的超大规模图计算需求，将算法计算时间从天级缩短到分钟级，性能全面领先领先于其它主流分布式图计算框架，并且打破了原本 ...
分类：
其他好文 时间：
2019-11-14 18:36:13
阅读次数：
72
结构介绍 MapReduce是Hadoop提供的一种处理海量数据的并行编程模型和计算框架，用于对大规模的数据进行并行计算。主要由ResourceManager和NodeManager两类节点构成。 ResourceManager主要负责集群资源管理，NodeManager负责节点的资源管理。 当运行 ...
分类：
其他好文 时间：
2019-10-23 11:15:46
阅读次数：
92
PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作，生成键——值对形式中间结果。其 ...
分类：
其他好文 时间：
2019-10-07 00:50:10
阅读次数：
157
Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。 同时 flink 支持高度容错的状态管理，防止状态在计算过程中因为系统异常而丢失，flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护，使得即使在系 ...
分类：
其他好文 时间：
2019-09-19 01:24:48
阅读次数：
129
