ffmpeg architecture（下） 第3章-转码 TLDR；给我看代码和执行。 $ make run_transcoding 我们将跳过一些细节，但是请放心：源代码可在github上找到。 在本章中，我们将创建一个用C编写的极简代码转换器，可以使用FFmpeg / libav库（尤其是li ...
分类：
其他好文 时间：
2020-07-13 09:46:18
阅读次数：
71
ffmpeg architecture（中） 艰苦学习FFmpeg libav 您是否不奇怪有时会发出声音和视觉？ 由于FFmpeg作为命令行工具非常有用，可以对媒体文件执行基本任务，因此如何在程序中使用它？ FFmpeg 由几个库组成，这些库可以集成到我们自己的程序中。通常，当您安装FFmpeg时 ...
分类：
其他好文 时间：
2020-07-13 09:38:09
阅读次数：
45
ffmpeg architecture（上） 目录 介绍 视频-您看到的是什么！ 音频-您在听什么！ 编解码器-缩小数据 容器-音频和视频的舒适场所 FFmpeg-命令行 FFmpeg命令行工具101 常见的视频操作 转码 转码 转换中 转换中 红利回合：自适应流 超越 艰苦学习FFmpeg lib ...
分类：
其他好文 时间：
2020-07-13 09:19:43
阅读次数：
71
一，执行流程 由图我们可以看到， MapReduce存在以下4个独立的实体。 JobClient：运行于client node，负责将MapReduce程序打成Jar包存储到HDFS，并把Jar包的路径提交到Jobtracker，由Jobtracker进行任务的分配和监控。 JobTracker：运 ...
分类：
其他好文 时间：
2020-07-12 22:18:50
阅读次数：
82
Understanding One-Shot NAS 2018-ICML-Understanding and Simplifying One-Shot Architecture Search Google Brain Gabriel Bender、Quoc Le Citation：183 Intro ...
分类：
其他好文 时间：
2020-07-11 19:23:14
阅读次数：
51
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
1、flume日志收集架构如下 2、解压安装包，修改文件夹名称，配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类：
Web程序 时间：
2020-07-10 18:37:36
阅读次数：
66
先达到极限，然后再突破它 HA高可用 HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2020-07-10 17:23:12
阅读次数：
61
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
