当我们新建一个unity工程时候,并不会赠送我们一整套的资源文件夹目录,需要我们自己去手动创建,十分麻烦还有可能写错. 这里介绍一个小工具用来创建常用文件夹 在unity中创建一个脚本,直接上代码 编译完成之后可以点击 Tools ->CreateFolder 创建常用文件夹 效果如下: 注意:如果 ...
分类：
编程语言 时间：
2019-06-16 14:07:53
阅读次数：
167
Spark Streaming输入 //*************** Spark Streaming 的输入 ************** 1、 文件数据源 1、Spark Streaming通过streamingContext.fileStream[KeyClass, ValueClass, I ...
分类：
其他好文 时间：
2019-06-16 12:00:30
阅读次数：
93
Flink流式计算原理,包括Structured Streaming,Continuous Queries,Handling Event-time,Handling Late Data,Watermarks ...
分类：
其他好文 时间：
2019-06-15 11:47:47
阅读次数：
85
1.1 基本概念 Storm是一个流式计算框架，Storm采用Java和Clojure编写，其优点是全内存计算，所以它的定位是分布式实时计算。 Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark类似于Hadoop MapReduce的通用并行计算框架，Spark基 ...
分类：
其他好文 时间：
2019-06-15 00:24:40
阅读次数：
176
MySQL作为最流行的关系型数据库产品之一，当数据规模增大遭遇性能瓶颈时，最容易想到的解决方案就是分库分表。无论是进行水平拆分还是垂直拆分，第一步必然需要数据迁移与同步。由此可以衍生出一系列数据迁移过程中的需求：1.原本一张表迁移到单库多表（或多库多表），这是最基本的需求；2.原本单库多表（或多库多 ...
分类：
数据库 时间：
2019-06-14 09:29:18
阅读次数：
161
1.启动集群 bin/start-cluster.sh 2.jps查看进程 3.打开网页端（192.168.66.128:8081） 4.造数据：nc -lk 9000 5.执行./bin/flink run examples/streaming/SocketWindowWordCount.jar ...
分类：
其他好文 时间：
2019-06-11 14:54:15
阅读次数：
91
第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD、DataFrame 与 DataSet0.3.2 DataSet 与 R ...
分类：
数据库 时间：
2019-06-08 11:48:58
阅读次数：
143
1.阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS功能：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server。 具有以下的功能：（1）高容错性 ： ...
分类：
其他好文 时间：
2019-06-03 17:08:11
阅读次数：
103
导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。 本文依次从spark生态，原理，基 ...
分类：
其他好文 时间：
2019-05-29 14:46:22
阅读次数：
118
Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 ...
分类：
其他好文 时间：
2019-05-18 00:45:07
阅读次数：
191
