为避免因自然灾害等意外情况而导致的本地数据丢失情况，异地数据容灾也是企业数据保护的一大常见命题。Ucahe备份呢支持通过远程复制技术，将本地数据同步到异地，实现异地数据保护。一站式的web管理,支持增量,差异,永久,定时,多副本等30多项功能列表，8项灾备技术，3款产品，满足企业不同场景的数据备份需求，帮助企业实现小时级、分钟级、秒级RTO/RPO目标，高效率，低成本，操作简单，Ucahe采用首次
分类：
其他好文 时间：
2020-04-23 16:20:09
阅读次数：
85
背景在Spark 1.* 版本中不支持Hive Perment Function的加载，使用起来不是很方便；在Spark 2.* 版本中通过HiveExternalCatalog 中的HiveClient 来直接和hive metaStore交互，轻松实现Hive Perment Function的 ...
分类：
其他好文 时间：
2020-04-23 15:06:34
阅读次数：
64
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
//练习sparkstreaming监听socket端口 //手写wordcount java代码 package com.swust.streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.Jav ...
分类：
其他好文 时间：
2020-04-23 11:49:08
阅读次数：
59
spark实现UserCF package cf import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.SparkSession object UserCF { def main(args: Array[String]): Un ...
分类：
其他好文 时间：
2020-04-23 01:08:59
阅读次数：
146
ZooKeeper 简介 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo ...
分类：
其他好文 时间：
2020-04-22 16:49:02
阅读次数：
66
升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 ...
分类：
其他好文 时间：
2020-04-22 13:33:45
阅读次数：
98
import java.sql.{DriverManager, PreparedStatement} import java.time.LocalDateTime import java.time.format.DateTimeFormatter import org.apache.spark.rd ...
分类：
数据库 时间：
2020-04-22 10:24:45
阅读次数：
83
import java.sql.DriverManager import java.time.{LocalDateTime, ZoneOffset} import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, Spa ...
分类：
数据库 时间：
2020-04-22 10:13:02
阅读次数：
86
import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} /** * RDD转DataFra ...
分类：
其他好文 时间：
2020-04-22 10:11:22
阅读次数：
67
