在之前的文章曾提到Hadoop不仅支持用Java编写的job，也支持其他语言编写的作业，比方Hadoop Streaming（shell、python）和Hadoop Pipes（c++），本篇文章将学习Hadoop Streaming编程。Streaming是hadoop自带的工具，封装在hado ...
分类：
其他好文 时间：
2017-08-04 20:32:54
阅读次数：
149
目录 · 概况 · 原理 · API · DStream · WordCount示例 · Input DStream · Transformation Operation · Output Operation · 缓存与持久化 · Checkpoint · 性能调优 · 降低批次处理时间 · 设置合 ...
分类：
其他好文 时间：
2017-08-04 09:56:28
阅读次数：
307
HLS（HTTP Live Streaming） 是Apple在2009年发布的，可以通过普通的web服务器进行分发的新型流媒体协议。苹果官方对于视频直播服务提出了 HLS 解决方案，该方案主要适用范围在于： 使用 iPhone 、iPod touch、 iPad 以及 Apple TV 进行流媒体 ...
分类：
Web程序 时间：
2017-08-03 15:08:28
阅读次数：
393
HTTP（超文本传输协议）、RTSP（Real Time Streaming Protocol实时流传输协议）、RTMP（Routing Table Maintenance Protocol路由选择表维护协议）是应用层协议，理论上都可以做直播、点播，实际上直播多采用RTMP和RTSP、点播则多用RT ...
分类：
Web程序 时间：
2017-08-03 14:56:36
阅读次数：
252
HLS，Http Live Streaming 是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容主要包括两部分，一是M3U8描述文件，二是TS媒体文件。 因为是苹果出的视频播放格式，所以PC端除了safari别的浏览器基本都不支持，微软的edge一推出就支持，下图是 ...
分类：
Web程序 时间：
2017-07-27 15:54:50
阅读次数：
508
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。 1. 目 ...
分类：
其他好文 时间：
2017-07-23 21:11:35
阅读次数：
932
基本概念 眼下计算框架和作业类型繁多： MapReduce Java、Streaming、HQL、Pig等 怎样对这些框架和作业进行统一管理和调度： 不同作业之间存在依赖关系（DAG）； 周期性作业 定时运行的作业 作业运行状态监控与报警 多种解决方式： Crontab 自己设计调度系统 直接使用开 ...
分类：
其他好文 时间：
2017-07-23 11:19:21
阅读次数：
176
为了验证Darwin Streaming Server在流媒体点播上的性能，EasyDarwin开源项目官方特地与国内某大型视频网站进行了一次性能测试（千兆网络环境下），针对本次RTSP直播流媒体测试范围，对码率为300K的视频进行压力测试，具体场景如下表所示： 测试环境： 测试结果： 测试结论： ...
海康实时流：rtsp://admin:12345@192.2.82.50:554/h264/ch4/main/av_stream海康回放流（模拟通道）：rtsp://admin:12345@192.2.82.50:554/Streaming/tracks/101?starttime=20120802 ...
分类：
其他好文 时间：
2017-07-20 17:33:28
阅读次数：
363
vlc的流输出功能 流输出功能，可以将vlc读取到的流，输出到文件或者通过网络发送，客户端可以使用http、rtp、rtsp等协议访问，还可以进行转码等操作。 参考http://wiki.videolan.org/Documentation:Streaming_HowTo 流输出语法 也可以使用下面 ...
分类：
其他好文 时间：
2017-07-20 16:25:47
阅读次数：
968
