先从源码来深入理解一下 DirectKafkaInputDStream 的将 kafka 作为输入流时，如何确保 exactly-once 语义。 对应的源码如下： DirectKafkaInputDStream 的类声明如下： 简言之，Kafka RDD 的一个流，每一个指定的topic 的每一个 ...
分类：
其他好文 时间：
2019-06-26 00:39:53
阅读次数：
134
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 同Spark初始化需要创建 ...
分类：
其他好文 时间：
2019-06-21 12:55:32
阅读次数：
92
import smtplibfrom email.mime.text import MIMETextsmtpserver = "smtp.qq.com"port =465sender = "发件人账号@qq.com"psw = "smtp服务的授权码"receiver ="收件人账号@qq.com" ...
分类：
编程语言 时间：
2019-06-17 12:31:11
阅读次数：
113
YoumayreceivetheError"SSLerror61:Youhavenotchosentotrust"DigiCertGlobalRootG2,"这种情况有可能是系统里没有intermediateSSLcertificate引起的解决方法：1。在windows下面打开有问题的网站，点击左上角网址前面的小锁
分类：
系统相关 时间：
2019-06-17 10:33:19
阅读次数：
972
对AUC的一些理解1.AUC（Area Under ROC Curve）是对机器学习模型的一种性能度量，其直观的意义是ROC（Receiver Operating Characteristic）围成的面积，然而很多文章对AUC的计算公式与其直观意义“面积”的对应描述不甚明了，于是我花了一些时间研究了 ...
分类：
其他好文 时间：
2019-06-06 14:16:53
阅读次数：
160
参考KB:http://support.citrix.com/article/CTX133877当分配给PVS服务器的多个流式NIC时，ProvisioningServices（PVS）服务器上会出现以下症状。例具有五个流式NIC的环境具有以下症状：当显示连接的设备被点击的PVS控制台，以下症状可能会经历：服务器超时错误4002列出连接设备的异常延迟3到4分钟PVS控制台停止响应用户添加的图像解小
分类：
其他好文 时间：
2019-06-05 12:42:00
阅读次数：
128
Huge Packet Drops (Tx drops) Observed on NetScaler 来源 https://support.citrix.com/article/CTX215843 Shell Command : nsconmsg101 -K newnslog -g nic_err ...
分类：
Web程序 时间：
2019-05-31 16:51:16
阅读次数：
130
