Spark Streaming是Spark核心API的扩展,可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源,比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。
??可以使用诸如map、reduce、join和window等高级函数进行复杂算法(比如,机器学习和图计算)的处理。最后还可以将处理结果存储到文件系统,数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。
分类:
其他好文 时间:
2018-09-10 00:59:24
阅读次数:
215
Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言,既可用于大规模应用程序开发,也可用于脚本编程。
本文主要讲解scala简介、特性、编程方式、基本语法、关键字、注释及变量。
分类:
其他好文 时间:
2018-09-10 00:58:50
阅读次数:
184
Bootstrap介绍 Bootstrap是Twitter开源的基于HTML、CSS、JavaScript的前端框架。 它是为实现快速开发Web应用程序而设计的一套前端工具包。 它支持响应式布局,并且在V3版本之后坚持移动设备优先。 为什么要使用Bootstrap? 在Bootstrap出现之前: ...
分类:
其他好文 时间:
2018-09-07 10:55:59
阅读次数:
174
一、入门概述 1.是什么 Redis:REmote DIctionary Server(远程字典服务器) 是完全开源免费的,用C语言编写的,遵守BSD协议,是一个高性能的(key/value)分布式内存数据库,基于内存运行并支持持久化的NoSQL数据库,是当前最热门的NoSql数据库之一,也被人们称 ...
分类:
其他好文 时间:
2018-09-06 00:00:38
阅读次数:
204
目录 1.Collecting data 1.1 Register Your App 1.2 Accessing the Data 1.3 Streaming 2.Text Pre-processing 2.1 The Anatomy of a Tweet 2.2 How to Tokenise a ...
分类:
编程语言 时间:
2018-09-03 13:41:18
阅读次数:
214
1 什么是Bootstrap 由Twitter的设计师Mark Otto和Jacob Thornton合作开发,是一个CSS/HTML框架 简洁、直观、强悍的前端开发框架,让web开发更迅速、简单。 2 Bootstrap版本 BootStrap2 BootStrap3 BootStrap4 3 B ...
分类:
其他好文 时间:
2018-09-01 12:43:06
阅读次数:
156
理解分布式id生成算法SnowFlake https://segmentfault.com/a/1190000011282426 articleHeader2 分布式id生成算法的有很多种,Twitter的SnowFlake就是其中经典的一种。 概述 SnowFlake算法生成id的结果是一个64b ...
分类:
编程语言 时间:
2018-08-31 14:47:49
阅读次数:
180
作为一个有效的学习者至少与成为一名高效的编码人员一样重要。 当你是一名开发人员时,你的工作要求你每天都要学习 - 尽管像黑客新闻,Twitter,Reddit和Facebook一样引起了分心。 您经常遇到新的代码库和工作中的新技术挑战。当你处理开源回购和个人项目时,家庭并不是更好,每个项目都有自己的 ...
分类:
其他好文 时间:
2018-08-24 19:30:28
阅读次数:
138
网易邮箱在收发邮件方面非常专业,能收到来自Google、FB、Twitter等正常情况下国内无法访问的网站的邮件,相比如QQ、139等邮箱要么收信非常慢,要么就干脆直接屏蔽掉来自这么网站的邮箱,导致用户根本就不知道自己有这些邮件。 不用网易邮箱的话,我会选择QQ邮箱,因为手机上安装的有QQ、微信,可 ...
分类:
其他好文 时间:
2018-08-23 15:47:22
阅读次数:
249
第五章 前端开发学习——Boostrap 一、Bootstrap基础 二、Bootstrap布局 三、Bootstrap组件 四、Bootstrap插件 一、Bootstrap基础 什么是Bootstrap(what): 由Twitter的设计师Mark Otto和Jacob Thornton合作开 ...
分类:
其他好文 时间:
2018-08-20 19:46:12
阅读次数:
166