在一般的套接字编程中,我们只能读取内核给我们加工以后的IP数据包,并不能直接读取和修改原始的IP数据包,如果我们要修改原始的IP数据包,那么我们就需要原始套接字来接收数据包. 创建原始套接字 int socket(AF_INET, SOCK_RAW, protocol); 这个函数在前面已经介绍过了 ...
分类：
其他好文 时间：
2016-05-21 20:31:32
阅读次数：
135
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 数据接收全生命周期的思考 大数据处理框架中，最重要的就是性能，性能是排在前面的。其次再考虑其他的。因为数据量大，一不小心的多余的操作，几分钟，十几分钟就过去了。 根据一般的架构设计原则，接收数据和存储数据 ...
分类：
其他好文 时间：
2016-05-21 20:17:15
阅读次数：
136
一：Receiver启动的方式设想
1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。
2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。...
分类：
其他好文 时间：
2016-05-20 19:40:41
阅读次数：
241
Spring提供了一些jsp页面常用的form标签，很大程度上提高了我们开发的速度，不用再一个个的标签去绑定属性，而且后台接收数据也很简单，可以直接接收object对象作为属性。官方form标签介绍的网址为http://docs.spring.io/spring/docs/4.2.6.RELEASE ...
分类：
编程语言 时间：
2016-05-19 14:53:13
阅读次数：
193
上节课将到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。一、ReceiverTracker主要的功能：在Executor上启动Receivers。停止Receivers。更新Receiver接收数据的速率(也就是限流)不断的等..
分类：
其他好文 时间：
2016-05-19 13:26:17
阅读次数：
144
1.摘要
这是《翻译：理解TCP/IP网络栈&编写网络应用》的下篇，文章中会通过讲解TCP的代码实现帮助大家理解发送、接收数据的流程，也描述了一些网卡、驱动等网络栈底层的原理。
原文地址：原文地址
原作者：Hyeongyeop Kim
翻译：@蛋疼的axb http://2baxb.me
上篇地址：翻译：理解TCP/IP网络栈&编写网络应用（上）
2.数据结构
以下是...
分类：
其他好文 时间：
2016-05-18 18:27:19
阅读次数：
239
Java Scoket之java.io.EOFException解决方案 Socket接收数据的时候，常常会抛出java.io.EOFException异常，也没有明确的原因和提示，在网上搜搜，很多人都在问此问题，但是没有找到切实可行的办法。经过研究，问题解决了。 看到的异常堆栈信息如下： java ...
分类：
编程语言 时间：
2016-05-16 21:52:36
阅读次数：
238
介绍 我们可以利用管道将一个命令的“标准输出”作为另一个命令的“标准输入”；但是这里的标准输出都是数据流，但是某些命令的输入只接收参数命令不接收数据流，那么这种一般的方法就无法实现，这里就需要借助xargs命令。xargs可以将数据流转换成命令参数作为标准输入的参数，接下来就来详细了解xargs的用 ...
分类：
系统相关 时间：
2016-05-16 20:01:22
阅读次数：
228
在SparkStreaming中对于ReceiverInputDStream来说，都是现实一个Receiver，用来接收数据。而Receiver可以有很多个，并且运行在不同的worker节点上。这些Receiver都是由ReceiverTracker来管理的。在ReceiverTracker的start方法中，会创建一个消息通信体ReceiverTrackerEndpoint..
分类：
其他好文 时间：
2016-05-16 17:52:24
阅读次数：
375
传输协议：TCP和UDP的区别 TCP（传输控制协议）： 1）提供IP环境下的数据可靠传输（一台计算机发出的字节流会无差错的发往网络上的其他计算机，而且计算机A接收数据包的时候，也会向计算机B回发数据 包，这也会产生部分通信量），有效流控，全双工操作(数据在两个方向上能同时传递)，多路复用服务，是面 ...
分类：
其他好文 时间：
2016-05-16 17:17:10
阅读次数：
122
