ListenerBus Spark 很多地方需要对一些事件进行监听或处理，这就涉及到到了 Listener。 比如：当一个Batch完成的时候，需要做什么。当stream 启动时候时候需要做什么等。再具体的例子，就是我想看每个batch 里面的数据量是多少 对于不同场景有不同的 Listener 比 ...
分类：
其他好文 时间：
2020-02-25 00:10:45
阅读次数：
79
1、torch.nn.CrossEntropyLoss() loss_func=torch.nn.CrossEntropyLoss() loss=loss_func(input_data,input_target) 其中input_data的shape一般是(batch_size,output_fe ...
分类：
其他好文 时间：
2020-02-24 16:42:33
阅读次数：
89
目录 K-Means算法和Mini Batch K-Means算法比较 层次聚类(BIRCH)算法参数比较 DBSCAN算法 一、K-Means算法和Mini Batch K-Means算法比较 1 2 3 4 5 6 7 ... ...
分类：
编程语言 时间：
2020-02-24 00:51:18
阅读次数：
86
实现的功能 1.连接数据库 2.执行SQL 3.结果发邮件 4.使用crontab定时执行 使用到的shell命令 date mysql sendmail ...
分类：
系统相关 时间：
2020-02-23 20:11:37
阅读次数：
86
分3步进行 Mini_batch 为什么要Mini_batch 166s 放到size=10,其实相当于10 epoch（也就是说也会50000updates） batch_size大的时候，用了平行运算(算10个examples 时间和1 example时间差不多)所以更快但是不能设置的太大，会卡 ...
分类：
其他好文 时间：
2020-02-23 20:05:53
阅读次数：
90
定时任务 命令参数： 常见使用： 启动&重启&停止&reload 创建定时任务 SHELL变量指定了系统要使用哪个shell，这里是bash PATH变量指定了系统执行 命令的路径 MAILTO变量指定了crond的任务执行信息将通过电子邮件发送给root用户 HOME变量指定了命令执行根目录 以指 ...
分类：
其他好文 时间：
2020-02-23 14:53:05
阅读次数：
59
train.py: # -*- coding: UTF-8 -*- """ 训练神经网络模型 大家之后可以加上各种的 name_scope（命名空间） 用 TensorBoard 来可视化 一些术语的概念 # Batch size : 批次(样本)数目。一次迭代（Forword 运算（用于得到损失函 ...
分类：
其他好文 时间：
2020-02-22 22:23:04
阅读次数：
85
1. Gradient Descent包含两种方法 a) Batch Gradient Descent replace the gradient with the sum of gradient for all sample and continue untill convergence conve ...
分类：
其他好文 时间：
2020-02-22 15:56:51
阅读次数：
84
如果进行重复序列的预测，则使用RepeatModeler，可自身比对进行查找 安装 （1）下载地址：http://www.repeatmasker.org/RepeatModeler/ （2）RepeatModeler安装之前需要安装以下软件 perl RECON - De Novo Repeat ...
分类：
其他好文 时间：
2020-02-22 15:36:56
阅读次数：
300
