转载自：http://lxw1234.com/archives/2016/10/772.htm Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方式（DataFrame&SQ ...
分类：
其他好文 时间：
2016-12-15 17:34:56
阅读次数：
423
函数定义和使用 函数的定义主要有如下要点： def：表示函数的关键字 函数名：函数的名称，日后根据函数名调用函数 函数体：函数中进行一系列的逻辑计算，如：发送邮件、计算出 [11,22,38,888,2]中的最大数等... 参数：为函数体提供数据 返回值：当函数执行完毕后，可以给调用者返回数据。 1 ...
分类：
编程语言 时间：
2016-11-30 19:52:08
阅读次数：
169
评估性能 评估损失 1、Training Error 首先要通过数据来训练模型，选取数据中的一部分作为训练数据. 损失函数可以使用绝对值误差或者平方误差等方法来计算，这里使用平方误差的方法，即： (y-f(x))2 使用此方法计算误差，然后计算所有数据点，并求平均数。 Training Error ...
分类：
系统相关 时间：
2016-11-29 18:55:41
阅读次数：
347
第一章 计算机、程序和Java概述 1.1引言 什么是程序设计呢？ 程序设计就是创建（或者开发）软件，软件也称为程序。 1.2什么是计算机 计算机是存储和处理数据的电子设备，计算机包括硬件（hardware）和软件（software）两部分。 ...
分类：
编程语言 时间：
2016-11-29 13:34:12
阅读次数：
243
大数据计算BUG处理：程序修改前资源情况：Driver:1台Worker:2台程序提交申请内存资源：1G内存内存分配情况：1.20%用于程序运行2.20%用于Shuffle3.60%用于RDD缓存单条TweetBean大小：3k1.内存溢出原因：因为程序会把所有的TweetBean查询出来并且合并(union)，该操作在内存中进行..
分类：
其他好文 时间：
2016-11-21 23:53:55
阅读次数：
290
扫描端口 nmap -v -sS -open -iL iplist.txt -no-stylesheet -oX output.xml -p- -P0 -v 详细信息-sS 隐蔽扫描(半开syn)。–open 只显示open的。-iL 从文件中导入需扫描ip。-no-stylesheet 无样式-o ...
分类：
其他好文 时间：
2016-11-14 17:07:22
阅读次数：
172
While there is life there is hope.一息若存，希望不灭 用localStorage实现简易的购物车数量单价和结算页面两个页面的实时同步： 购物车页面：实时更新页面，在input的value发生改变的时候存储localStorage <script> window.on ...
分类：
其他好文 时间：
2016-11-01 07:28:46
阅读次数：
208
本周的作业还算挺好玩。。约瑟夫生死游戏嘛。 老师要抽签选择每个组对应的数据结构。结果宝宝抽到了单链表。。。。 一、项目简介 约瑟夫生者死者游戏的大意是：30个旅客同乘一条船，因为严重超载，加上风高浪大，危险万分；因此船长告诉乘客，只有将全船一半的旅客投入海中，其余人才能幸免遇难。无奈，大家只得同意这 ...
分类：
其他好文 时间：
2016-10-30 14:17:08
阅读次数：
572
数据仓库有很多类型的架构方式，按照发展的历程上，主要有如下几类标志性。 独立的数据集市架构。 在最早期的数据仓库建设中，大多是以部门为单位搭建数据仓库，也就是数据集市，供整个部门使用。这样能够很快的构建好数据仓库，但是缺点是很容易产生不同部门因数据计算口径不同而导致的数据产出结果不一致。当然对于小公... ...
分类：
其他好文 时间：
2016-10-28 23:29:20
阅读次数：
203
