码迷,mamicode.com
首页 >  
搜索关键字:大数据    ( 12892个结果
[开源] .Net 使用 ORM 访问 神舟通用数据库(神通)
前言 天津神舟通用数据技术有限公司(简称“神舟通用公司”),隶属于中国航天科技集团(CASC)。是国内从事数据库、大数据解决方案和数据挖掘分析产品研发的专业公司。公司获得了国家核高基科技重大专项重点支持,是核高基专项的牵头承担单位。自1993年在航天科技集团开展数据库研发以来,神通数据库已历经27年 ...
分类:数据库   时间:2020-06-28 09:49:15    阅读次数:90
入门大数据---Flink_Data_Transformation
一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类: DataStream Transformations:进行数据流相关转换操作; Physical pa ...
分类:其他好文   时间:2020-06-28 09:35:03    阅读次数:60
入门大数据---Flink开发环境搭建
一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ,如果想要使用 Scala 语言来开发 Flink 程序,可以通过在 IDEA 中安装 Scala 插件来提供语法提示,代码高亮等功能。打开 IDEA , 依次点击 File => settings ...
分类:其他好文   时间:2020-06-27 20:01:40    阅读次数:70
06 大数据CentOS6.5mini安装与网络配置
1. CentOS6.5mini安装 文件>>新建虚拟机 选择自定义,下一步 默认,下一步 选择稍后安装操作系统,下一步 选择CentOS版本,下一步 给虚拟机命名,这个是在VMWare中显示的名称,下一步 处理器配置,默认,下一步 根据电脑配置选择虚拟内存,不能小于1024M,下一步 网络类型选择 ...
分类:其他好文   时间:2020-06-27 09:51:22    阅读次数:76
入门大数据---Spark_Streaming整合Flume
一、简介 Apache Flume 是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类:Web程序   时间:2020-06-27 00:19:37    阅读次数:77
入门大数据---Spark_Streaming基本操作
一、案例引入 这里先引入一个基本的案例来演示流的创建:获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI ...
分类:其他好文   时间:2020-06-27 00:14:44    阅读次数:62
Arctern Spark单机可视化入门
Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用 安装和验证 参考单机安装arctern和在线安装单机spark 一:要注 ...
分类:其他好文   时间:2020-06-26 22:01:05    阅读次数:47
大数据高并发之集群负载均衡
单机版系统 一台服务器,应用程序、数据库、文件等所有资源都在一台服务器上。 单机版系统的承载能力只能大概预估。 随着业务的发展,一台服务器逐渐不能满足需求,因此要将应用程序和数据分离,应用和数据分离后使用三台服务器:应用程序服务器、文件服务器和数据库服务器。 业务进一步发展,数据库压力太大导致访问延 ...
分类:其他好文   时间:2020-06-26 20:31:31    阅读次数:55
入门大数据---Spark_Streaming与流处理
一、流处理 1.1 静态数据处理 在流处理之前,数据通常存储在数据库,文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储,采用 MapReduce 进行数据查询或分析,这就是典型的静态数据处理架构。 1.2 流 ...
分类:其他好文   时间:2020-06-26 20:02:43    阅读次数:49
入门大数据---SparkSQL外部数据源
一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源,同时 Spark 社区还提供了多达上百种数据源的读取方式,能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text files 注:以下所有测试文件均可从 ...
分类:数据库   时间:2020-06-26 18:39:56    阅读次数:61
12892条   上一页 1 ... 55 56 57 58 59 ... 1290 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!