码迷,mamicode.com
首页 > 数据库 > 详细

HLS图像处理系列——在ZEDBoard搭建DDR图像处理通路

时间:2015-06-30 10:47:45      阅读:1160      评论:0      收藏:1      [点我收藏+]

标签:vdma   zynq   hls   fpga   图像处理   

ZYNQ芯片内包含一个丰富特性的基于双核ARM Cortex-A9的处理子系统(Processing System,PS)和Xilinx 28nm可编程逻辑(Programmable Logic,PL)。PS除了核心外还包括片上存储器、外部存储器接口以及大量外设连接接口。

利用ARM,我们可以做嵌入式操作系统相关的任务,如图形界面、用户输入、网络、DDR3控制等,由于ARM本身具有丰富的外设接口,而且支持多级流水线,处理这些事务游刃有余,但对于计算量较大的应用却捉襟见肘,因为ARM本身还是典型的串行处理器,不适合做大数据、实时性较高的处理任务。FPGA恰好弥补了这一点,利用可编程逻辑可以实现并行处理,只要逻辑资源够用,我们可以采用以空间换时间的策略,使多个计算单元同时进行,可大大缩短处理时间。

用ZYNQ进行图像处理具有架构上的优势,因此对于用ZYNQ做视频相关的开发人员,一套ZYNQ上的图像通路是必须的。本博文介绍的是一种摄像头+HLS图像处理+DDR存储+VGA显示的图像通路。该通路是本人和另外一位同事合作实现,本人负责摄像头的FPGA驱动、HLS图像处理IP的实现以及系统的后期优化。由于涉及公司项目,因此不能提供工程文件,只提供框架和思路。

系统框架如下:

技术分享

重点模块介绍:

Camera:采用ov7725摄像头,帧率60fps,分辨率640*480。关于摄像头时序的详解,请参考本人博文《教程——在ZEDBoard实现图像通路(Block Ram版本)》

封装后的摄像头IP如下图:

技术分享

VDMA:在本设计中,VDMA的地位和通常设计中的DMA相似。但是,和DMA不同的是,VDMA专门为视频流数据提供的高度存储访问模块。其通过AXI-Stream协议接收视频数据,而控制信号(比如帧缓冲的大小,DMA功能的开启和关闭,以及一些其他的设置)则通过AXI-Lite从其他接口访问。

技术分享

VDMA拥有两条DMA通路,S2MM通路将输入的AXI4-Stream数据流映射到指定的帧缓冲,而MM2S则相反,将帧缓冲输出为AXI4-Stream类型的数据流。

VDMA的配置界面如图:

技术分享

其中可以看到一些对于数据帧的配置信息,以及FrameBuffers数量的设置。FrameBuffers数量至少为3个,因为如果少于3个,那么会出现写入DDR与读取DDR的冲突,导致图像出现断层现象。在本设计中,FrameBuffers设置为3个。

Video In to AXI4-Stream 与 AXI4-Stream to Video Out:由于摄像头传入的信号使用的协议并非AXI4-Stream,而VDMA却需要接收AXI4-Stream类型的数据,所以需要有专门的IP核来进行两者之间的转换。

这两个IP核是:

Video In to AXI4-Stream,该IP将视频数据转化为AXI4-Stream类型。本工程中,视频数据来自于camera模块,只需要camera提供四路信号:行同步、场同步、24bit的像素、数据有效信号。

AXI4-Stream to Video Out,该IP将AXI4-Stream类型数据转化为视频数据。视频数据即为VGA信号,包含行同步、场同步、数据有效信号以及像素。该模块有一个timing的输入,在本系统中,来自于video timing control IP。video timing control模块给AXI4-Stream to Video Out IP提供一个640*480p的VGA时序信号。

下图为Video In to AXI4-Stream IP与AXI4-Stream to Video Out IP:

技术分享

技术分享

这两个IP核在本设计中处于桥梁地位,用于连接外部IO和VDMA。在这两个模块内部的视频数据都是AXI4-Stream类型,省去了地址,因此速度更快、更容易处理。一般而言,HLS硬件图像处理模块都会放在这两个IP核之间。

HLS图像处理模块:本设计中,构建了一个简单的Sobel图像处理模块,由HLS工具生成打包成IP。关于HLS工具不多介绍,可以参考本人博客《HLS图像处理系列——前言》来初步了解HLS。HLS生成的IP输入输出视频流都符合AXI4-Stream协议。

然后,附上vivado的工程截图:

技术分享

在SDK工程,主要是进行HLS IP的初始化与VDMA的初始化。只有初始化之后,整个图像通路才能正确运行。HLS初始化源码短短几行,但也是折磨了我好久,因为需要关闭中断,好长时间内都没有发现这个问题。初始化重点源码如下:

/************config hls ip********/
void ConfigureHlsIP(XImgprocess_top *ImgProcess)
{
	ImgProcess->Control_bus_BaseAddress = XPAR_IMGPROCESS_TOP_0_S_AXI_CONTROL_BUS_BASEADDR;
	ImgProcess->IsReady = XIL_COMPONENT_IS_READY;

	XImgprocess_top_EnableAutoRestart(ImgProcess);
	XImgprocess_top_SetRows(ImgProcess, 480);
	XImgprocess_top_SetCols(ImgProcess,640);

	XImgprocess_top_InterruptDisable(ImgProcess, 0xFFFFFFFF);
	XImgprocess_top_InterruptGlobalDisable(ImgProcess);
	XImgprocess_top_Start(ImgProcess);
}

int main()
{
    init_platform();
	usleep(100000);
    print("Hello World\n\r");
    ConfigureHlsIP(&ImgProcess);
	// MM2S
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x00, 0x008B);		// enable run, circular_park, GenlockEn, GenlockSrc
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x5C, 0x01000000);	// Start address of the 1st frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x60, 0x02000000);	// Start address of the 2nd frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x64, 0x03000000);	// Start address of the 3rd frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x58, 0x0780);		// Stride number
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x54, 0x0780);		// number of bytes per line(640 x 3)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x50, 0x01E0);		// number of lines per frame(480)

	//S2MM
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x30, 0x108B);		// enable run, circular_park
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xAC, 0x01000000);	// Start address of the 1st frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xB0, 0x02000000);	// Start address of the 2nd frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xB4, 0x03000000);	// Start address of the 3rd frame(3 frames in all)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA8, 0x0780);		// Stride number
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA4, 0x0780);		// number of bytes per line(640 x 3)
	Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA0, 0x01E0);		// number of lines per frame(480)

    return 0;
}


版权声明:本文为博主原创文章,未经博主允许不得转载。

HLS图像处理系列——在ZEDBoard搭建DDR图像处理通路

标签:vdma   zynq   hls   fpga   图像处理   

原文地址:http://blog.csdn.net/lzy272942518/article/details/46686095

(0)
(1)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!