一、概述
Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算,具体如下图所示:
在Trident中有五种操作类型:
A...
这个是用于接入口的,一个正常的交换接口从down到up要经过:Down,listening,learning,fowarding几个状态,一共耗时为30秒,从而决定此端口是blocking还是fowarding的,也是交换机的防止环路的机制。但是对于直接接入PC这样的终端设备的接口就没有必要经过这几步了,也就是从down..
分类:
其他好文 时间:
2014-08-22 02:55:06
阅读次数:
363
1. 用户不会在乎你的七大功能,八大特色,只要有一个功能可以打动他,可以解决它心中的痛,或者挠去他心中的痒,那你就有可能获得用户的信赖。
2. 不要给用户谈你们公司有多少个院士,多少个千人计划,多少个专家,多少个博士,你们的产品用到了多fancy的技术,大部分人不会care的. 最显然的就是这种科技新闻下的评论数量几乎为0.
3. 你做了一个新产品,然后你给用户说我用到了最高精尖的Deep Learning技术,通过利用人工神经网络模拟人脑神经的层次化结构实现更加高效精准识别,他...
分类:
其他好文 时间:
2014-08-21 22:53:35
阅读次数:
206
本章描述:对于Protocol的封装 package?com.digitalpebble.storm.crawler.fetcher;
import?com.digitalpebble.storm.crawler.util.Configuration;
public?interface?Protocol?{
????public?Protoco...
分类:
其他好文 时间:
2014-08-21 19:45:55
阅读次数:
147
向量之间的相似度
度量向量之间的相似度方法很多了,你可以用距离(各种距离)的倒数,向量夹角,Pearson相关系数等。
皮尔森相关系数计算公式如下:
分子是协方差,分子是两个变量标准差的乘积。显然要求X和Y的标准差都不能为0。
因为,所以皮尔森相关系数计算公式还可以写成:
当两个变量的线性关系增强时,相关系数趋于1或-1。
用户评分预测
...
分类:
其他好文 时间:
2014-08-21 19:28:24
阅读次数:
796
网易公开课,第16课 notes,12 前面的supervised learning,对于一个指定的x可以明确告诉你,正确的y是什么 但某些sequential decision making问题,比如下棋或直升机自动驾驶 无法确切知道,下一步怎么样是正确的,因为这是一个连续和序列化的决策,比如直到...
分类:
其他好文 时间:
2014-08-21 18:43:24
阅读次数:
271
package?com.digitalpebble.storm.crawler;
import?backtype.storm.Config;
import?backtype.storm.metric.MetricsConsumerBolt;
import?backtype.storm.metric.api.IMetricsConsumer;
import?backtype.st...
分类:
其他好文 时间:
2014-08-21 17:25:44
阅读次数:
185
学习笔记之《Learning and Transferring Mid-Level Image Representations using Convolutional Neural Networks》...
分类:
Web程序 时间:
2014-08-21 17:14:34
阅读次数:
440
阅读背景:1 您需要了解什么是dubbo,如何使用dubbo拆分服务 ? ? ? ? ? ? ? ? 2:您需要了解如何将所需要的服务注册到dubbo ? ? ?????????? ?3: 您还可能需要了解如何使用zookeeper 本章主...
分类:
其他好文 时间:
2014-08-21 15:23:14
阅读次数:
216