一、配置交换机的vlan管理ip地址 1，进入系统视图<H3C> system-view 2，创建VLAN 1，并指定VLAN 1为交换机的管理VLAN[H3C] vlan 1[H3C-vlan1] quit[H3C] management-vlan 1 3，进入VLAN接口视图[H3C] inte ...
分类：
其他好文 时间：
2020-04-26 14:17:47
阅读次数：
90
一直以来更多的是进行单页面开发。但在与其他同行的交流中，发现多页面项目也是业务的一种需求，趁着今天有时间，今天搞了一下。 多页面的配置，自然也可以根据路由的mode分为hash和history模式。 先说本人更熟悉的hash模式。 一，多页面要有多个入口 默认使用vue-cli 2初始化的项目，需要 ...
分类：
其他好文 时间：
2020-04-25 19:00:40
阅读次数：
74
一、Source 代码地址：https://gitee.com/nltxwz_xxd/abc_bigdata 1.1、flink内置数据源 1、基于文件 env.readTextFile("file://path") env.readFile(inputFormat, "file://path"); ...
分类：
其他好文 时间：
2020-04-24 21:42:02
阅读次数：
85
设置Git主程序路径： test测试一下路径是否正确 如果是组长|前辈搭建好了骨架，放在远程仓库上，我们先从远程仓库clone项目到本地仓库： 也可以 VCS -> Git -> Clone IDEA会自动记录文件的改变，可以在Local History中查看，但没有Git好用。 如果是自己搭建骨架 ...
分类：
其他好文 时间：
2020-04-24 12:48:46
阅读次数：
84
通过继承AccumulatorV2可以实现自定义累加器。 官方案例可参考:http://spark.apache.org/docs/latest/rdd-programming-guide.html#accumulators 下面是我自己写的一个统计卡种数量的案例。 package com.shua ...
分类：
其他好文 时间：
2020-04-24 00:55:29
阅读次数：
84
在传统网站开发中，我们一般使用比如asp、php、jsp等技术进行开发，开发完成后统一部署在服务器上，我们访问时，会在浏览器中发送带有'.asp','.php','.jsp'等后缀路径的url请求，服务器会根据对应的路由映射表，找到我们请求的页面并渲染成HTML，然后把HTML页面直接返回给浏览器展 ...
分类：
其他好文 时间：
2020-04-23 22:46:30
阅读次数：
76
scala代码： package offline import org.apache.spark.ml.feature.{HashingTF, IDF} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.Spa ...
分类：
其他好文 时间：
2020-04-23 21:27:31
阅读次数：
67
Spark SQL原理解析前言： "Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述" 这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。 可能有童鞋没接触过antlr4这个 ...
分类：
数据库 时间：
2020-04-23 20:59:04
阅读次数：
93
背景在Spark 1.* 版本中不支持Hive Perment Function的加载，使用起来不是很方便；在Spark 2.* 版本中通过HiveExternalCatalog 中的HiveClient 来直接和hive metaStore交互，轻松实现Hive Perment Function的 ...
分类：
其他好文 时间：
2020-04-23 15:06:34
阅读次数：
64
//练习sparkstreaming监听socket端口 //手写wordcount java代码 package com.swust.streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.Jav ...
分类：
其他好文 时间：
2020-04-23 11:49:08
阅读次数：
59
