[TOC] 1. 正文 1.1. 任务描述文件 前文提到过，HTCondor是通过condor_submit命令将提交任务的，这个命令需要提供一个任务描述文件。这个任务描述文件详细描述了任务运行的需求情况，如下所示： universe参数表示HTCondor的运行环境，默认为vanilla。vani ...
分类：
其他好文 时间：
2020-01-25 15:26:08
阅读次数：
61
[toc] 1. 正文 1.1. 任务划分 使用高通量计算第一步就是要针对密集运算任务做任务划分。将一个海量的、耗时的、耗资源的任务划分成合适粒度的小任务，需要综合考虑资源、数据等多方面因素。HTCondor并不参与这方面的工作，任务划分需要用户自己实现。 默认情况下，HTCondor会把一个CPU ...
分类：
其他好文 时间：
2020-01-24 20:10:36
阅读次数：
115
[toc] 1. 目录 HTCondor环境配置完成后，安装文件目录如下：![HTCondor安装目录][imglink1] 其中bin目录里面存放了一系列condor_开头的可执行程序，正是通过这些指令程序来实现分布式计算的。其中有个GUI程序condor_birdwatcher.exe，打开后运 ...
分类：
其他好文 时间：
2020-01-23 22:44:14
阅读次数：
116
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
记事本内容： 打印结构： 结果展示： parquet的优势 支持列存储+嵌套数据格式+适配多个计算框架 节省表扫描时间和反序列的时间 压缩技术稳定出色,节省存储空间 Spark操作 Parquet文件比操作CSV等普通文件的速度更快 加载数据：sparkSession.read.parquet(“/ ...
分类：
其他好文 时间：
2020-01-19 12:47:25
阅读次数：
87
[TOC] 1. 正文 HTCondor是威斯康星大学麦迪逊分校构建的分布式计算软件和相关技术，用来处理高通量计算（High Throughput Computing ）的相关问题。高通量计算中的Throughput应该是吞吐量的意思，也就是调度计算机资源的能力。与高性能计算（HPC）不同，高通量计 ...
分类：
其他好文 时间：
2020-01-17 11:49:30
阅读次数：
64
Spark SQL：数据库 Spark Streaming：流计算框架 GraphX:图计算框架 使用语言开发： SCALA语言学习(与Java完全兼容) 编程范式： 1，命令式语言：C，C++，Java...基于冯.诺依曼体系结构 2，函数式语言：充分利用多核CPU多线程并发能力 基于λ演算，并发 ...
分类：
其他好文 时间：
2020-01-14 23:47:05
阅读次数：
92
1、hadoop 大数据框架 Hadoop 是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。Hadoop是项目的总称 分布式： 大数据： 指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合。 1024MB= ...
分类：
其他好文 时间：
2020-01-10 12:33:49
阅读次数：
80
背景 公司一个项目的大数据平台进行改造，之前使用Structured Streaming作为实时计算框架，需要替换为替换为Kafka Streams，并使用SpringBoot包装，使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术，并且项目工期较为紧张，因此只好 ...
分类：
编程语言 时间：
2020-01-09 20:25:12
阅读次数：
100
一,hive介绍 1.来源 facebook的数据仓库计算框架,后来开源给了Apache 主要做离线计算即就是不要求实时获取结果 2.数据仓库 数据库一般分为:OLAP OLTP 就是通过以往的数据分析，对现在的业务或者发展发现提供数据的支持 就是从历史数据中心发掘价值 一般有一下几种模式 星型模式 ...
分类：
其他好文 时间：
2019-12-30 14:29:22
阅读次数：
114
