您尚未登录。

#1 2021-01-07 23:18:48

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

F1C200s主线gstreamer使用openmax调用cedar硬解码

之前发了个v3s使用gstreamer的插件openmax调用cedar硬解码的主题
https://whycan.com/t_5398.html

不少小伙伴用F1C200s尝试使用遇到了问题
报了个初始化解码库失败的错误
经排查发现是配置libcedarc时要选择一个编译硬解码库的gcc
之前用v3s时这个配置项默认是arm-linux-gnueabihf 恰好是适合v3s使用的gcc
但是在F1C200s就不能用了 要进行修改

在修改完以后 继续尝试播放 发现屏幕显示一片墨绿 过一会内核崩溃了 绿的我发慌
重启还起不来 发现是有和启动相关的库被破坏掉了 要重新烧录才行能正常启动

后来排查发现是硬解码输出帧格式的问题 (但不至于内核奔溃甚至破坏启动库吧)
我们在用v3s进行硬解码时 openmax是被默认配置为输出YV12 所以v3s用起来没问题 但是到F1C200s就不行了 F1C200s只能输出MB32 (详细资料看隔壁硬解码主题8楼 https://whycan.com/t_5429.html)
所以我们只要将openmax配置修改一下 再对输出格式做个转换 就可以了


下面开始修改内容

1.配置编译硬解码库的gcc
在buildroot配置libcedarc
Target packages ->
Hardware handling ->
libcedarc ->
Arch library select
改成arm-none-linux-gnueabi

2.修改openmax
在buildroot进入目录output/build/libcedarc-master

cd output/build/libcedarc-master

修改源文件omx_vdec_aw_decoder_linux.c

vim openmax/vdec/src/omx_vdec_aw_decoder_linux.c

在结构体类型typedef struct OmxAwDecoderContext增加以下成员
char*                  pYV12;
VideoPicture           CvtPicture;

在函数__liPrepare中

pCtx->mVideoConfig.eOutputPixelFormat = PIXEL_FORMAT_YV12;

改为

pCtx->mVideoConfig.eOutputPixelFormat = PIXEL_FORMAT_YUV_MB32_420;

在语句ret = InitializeVideoDecoder(pCtx->m_decoder, 上面一行添加以下内容

pCtx->pYV12 = (char*)malloc(sizeof(char) * pCtx->mStreamInfo.nWidth * pCtx->mStreamInfo.nHeight * 3 / 2);
if(pCtx->pYV12 == NULL)
{
    loge("pCtx->pYV12 malloc fail\n");
    return -1;
}
pCtx->CvtPicture.pData0 = pCtx->pYV12;
pCtx->CvtPicture.ePixelFormat = PIXEL_FORMAT_YV12;

在函数__liDrain中
在logv("*** picture info: w(%d),h(%d),offset,t(%d),b(%d),l(%d),r(%d)",上面一行添加以下内容

RotatePicture(pCtx->decMemOps, pCtx->pPicture, &pCtx->CvtPicture, 0, 32, 32);

AlignCopyYV12((unsigned char*)pOutBufHdr->pBuffer,
                                (unsigned char*)pCtx->pPicture->pData0,
                                outDef->format.video.nFrameWidth,
                                outDef->format.video.nFrameHeight);

改成

AlignCopyYV12((unsigned char*)pOutBufHdr->pBuffer,
                                (unsigned char*)pCtx->CvtPicture.pData0,
                                outDef->format.video.nFrameWidth,
                                outDef->format.video.nFrameHeight);

在函数__liGetFormat

pCtx->mVideoConfig.eOutputPixelFormat = PIXEL_FORMAT_YV12;

改为

pCtx->mVideoConfig.eOutputPixelFormat = PIXEL_FORMAT_YUV_MB32_420;

在函数__liClose
在if(pCtx->m_decoder != NULL)上面一行添加以下内容

if(pCtx->pYV12 != NULL)
{
        free(pCtx->pYV12);
        pCtx->pYV12 = NULL;
}

3.修改libcedarc 添加格式转换
修改源文件pixel_format.c
vim vdecoder/pixel_format.c
在函数ConvertPixelFormat上面添加一个函数

void MB32_CVT_YV12_(char* pSrc, char* pSrc_v, char* pDst, int nWidth, int nHeight)
{
	int i = 0;
	int j = 0;
	int m = 0;
	int n = 0;
	int k = 0;
	int nMbWidth = 0;
	int nMbHeight = 0;
	int nMbWidth_uv = 0;
	int nMbHeight_uv = 0;
	int nLineStride = 0;
	int nLineStride_uv = 0;
	int lineNum = 0;
	int lineNum_uv = 0;
	int offset = 0;
	int offset_uv = 0;
	int maxNum = 0;
	char* ptr = NULL;
	char* ptr_uv = NULL;
	char* pDstU = NULL;
	char* pDstV = NULL;
	int nWidth_uv = 0;
	int nHeight_uv = 0;
	char bufferY[32];
	char bufferV[16], bufferU[16];
	int nWidthMatchFlag = 0;
	int nWidthMatchFlag_uv = 0;
	int nCopyMbWidth = 0;
	int nCopyMbWidth_uv = 0;
	char *dstAsm = NULL;
	char *dst0Asm = NULL;
	char *dst1Asm = NULL;
	char *srcAsm = NULL;
	char *srcAsm_uv = NULL;

	int bCnt2 = 1;

	nLineStride = (nWidth + 15) &~15;
	nMbWidth = (nWidth + 31)&~31;
	nMbWidth >>= 5;//n 32 width   / 32

	nMbHeight = (nHeight + 31)&~31;
	nMbHeight >>= 5;// / 32
	ptr = pSrc;

	nWidthMatchFlag = 0;
	nCopyMbWidth = nMbWidth - 1;

	nWidth_uv = (nWidth + 1) / 2;
	nHeight_uv = (nHeight + 1) / 2;

	nLineStride_uv = (nWidth_uv + 7)&~7;

	nMbWidth_uv = (nWidth_uv * 2 + 31)&~31;
	nMbWidth_uv >>= 5;// / 32

	nMbHeight_uv = (nHeight_uv + 31)&~31;
	nMbHeight_uv >>= 5;// / 32
	ptr_uv = pSrc_v;
	pDstU = pDst + (nWidth * nHeight) + (nWidth / 2 * nHeight / 2);
	pDstV = pDst + (nWidth * nHeight);
	nWidthMatchFlag_uv = 0;
	nCopyMbWidth_uv = nMbWidth_uv - 1;

	if ((nMbWidth << 5) == nLineStride)// * 32
	{
		nWidthMatchFlag = 1;
		nCopyMbWidth = nMbWidth;
	}

	if ((nMbWidth_uv << 4) == nLineStride_uv)//*16
	{
		nWidthMatchFlag_uv = 1;
		nCopyMbWidth_uv = nMbWidth_uv;

	}

	for (i = 0; i < nMbHeight; i++)
	{
		for (j = 0; j < nCopyMbWidth; j++)
		{
			for (m = 0; m < 32; m++)
			{
				if (((i << 5) + m) >= nHeight)// * 32
				{
					ptr += 32;
					continue;
				}
				srcAsm = ptr;
				lineNum = (i << 5) + m;           //line num      * 32
				offset = lineNum * nLineStride + (j << 5);// * 32
				dstAsm = pDst + offset;

				memcpy(dstAsm, srcAsm, 32);

				if (bCnt2)
				{
					srcAsm_uv = ptr_uv;
					lineNum_uv = (i << 4) + m;           //line num i / 2 * 32
					offset_uv = lineNum_uv * nLineStride_uv + (j << 4);// * 16
					dst0Asm = pDstU + offset_uv;
					dst1Asm = pDstV + offset_uv;

					memcpy(dst0Asm, srcAsm_uv, 16);
					memcpy(dst1Asm, (void *)(srcAsm_uv + 16), 16);
					ptr_uv += 32;
				}
				ptr += 32;
			}
		}

		if (nWidthMatchFlag != 1)
		{
			for (m = 0; m < 32; m++)
			{
				if (((i << 5) + m) >= nHeight)// * 32
				{
					ptr += 32;
					continue;
				}
				dstAsm = bufferY;
				srcAsm = ptr;
				lineNum = (i << 5) + m;           //line num   * 32
				offset = lineNum * nLineStride + (j << 5);// * 32

				memcpy(dstAsm, srcAsm, 32);
				ptr += 32;
				for (k = 0; k < 32; k++)
				{
					if ((j * 32 + k) >= nLineStride)
					{
						break;
					}
					pDst[offset + k] = bufferY[k];
				}
			}
		}

		if (bCnt2) {
			if (nWidthMatchFlag_uv != 1)
			{
				for (m = 0; m < 32; m++)
				{
					if (((i << 4) + m) >= nHeight_uv)//i / 2 * 32
					{
						ptr_uv += 32;
						continue;
					}

					srcAsm = ptr_uv;
					lineNum_uv = (i << 4) + m;           //line num i / 2 * 32
					offset = lineNum_uv * nLineStride_uv + (j << 4);// * 16
					dst0Asm = bufferU;
					dst1Asm = bufferV;

					memcpy(dst0Asm, srcAsm, 16);
					memcpy(dst1Asm, (char *)(srcAsm + 16), 16);
					ptr_uv += 32;

					for (k = 0; k < 16; k++)
					{
						if (((j << 4) + k) >= nLineStride_uv)// j * 16
						{
							break;
						}
						pDstV[offset + k] = bufferV[k];
						pDstU[offset + k] = bufferU[k];
					}
				}
			}
		}
		bCnt2 = !bCnt2;
	}
}

在函数ConvertPixelFormat的
if(pPictureOut->ePixelFormat==PIXEL_FORMAT_YV12){
和#ifdef CEDARX_DECODER_ARM32之间添加以下内容

if(pPictureIn->ePixelFormat == PIXEL_FORMAT_YUV_MB32_420)
{
    MB32_CVT_YV12(pPictureIn->pData0, pPictureIn->pData1, pPictureOut->pData0, \
                    pPictureIn->nWidth, pPictureIn->nHeight);
}

清除libcedarc之前的编译文件

make clean

清除buildroot对于libcedarc的编译标记

rm .stamp_built

3.和v3s一样 给gstreamer的openmax插件添加全志的颜色空间定义

cd ../gst-omx-1.16.0/
vim omx/gstomxvideo.c

在函数gst_omx_video_get_format_from_omx的switch下添加case

case OMX_COLOR_FormatYVU420Planar:
format = GST_VIDEO_FORMAT_YV12;
break;

保存退出

清除gst-omx之前的编译文件
(之前那篇帖子有人说OMX_COLOR_FormatYVU420Planar找不到定义 我估计就是这个没有清)

make clean

清除buildroot对于gst-omx的编译标记

rm .stamp_built

回到buildroot目录

cd ../../../ 

编译

make

这样源文件的修改就完成了 gstreamer的配置就看回上面v3s的主题
打包烧录后进入系统 进行gst-omx注册后就可以进行硬解码播放了

离线

#2 2021-01-07 23:28:49

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

F1C200s硬解码播放现场:

镜像和使用方法
https://whycan.com/files/members/1105/F1C200s_gst-omx硬解码镜像.zip

验证平台:
硬件 Widora R3 晕哥特供
linux 主线内核5.2荔枝派官方的
启动方式 TF卡 屏幕800 * 480
h264文件 bad_apple.mp4

最后感谢晕哥在歪朵拉R3断货时 雪中送炭 支援了我一块 真够豪爽的
WidoraR3_2.jpg

最近编辑记录 逸俊晨晖 (2021-01-07 23:32:04)

离线

#3 2021-01-08 00:52:53

微凉VeiLiang
会员
注册时间: 2018-10-28
累计积分: 441
个人网站

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

感谢分享经验,解码的f1c好像都是mb32 title格式

离线

#4 2021-01-08 09:02:41

bubailong
会员
注册时间: 2020-04-16
累计积分: 86

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

厉害厉害,学习了,这回可玩性就大多了,有声音吗?

最近编辑记录 bubailong (2021-01-08 09:03:11)

离线

#5 2021-01-08 14:52:58

f1c100_
会员
注册时间: 2020-09-22
累计积分: 23

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

这个帧率有多少呢?

离线

#6 2021-01-08 20:00:51

bubailong
会员
注册时间: 2020-04-16
累计积分: 86

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

为啥无法启动呢?没有任何输出

离线

#7 2021-01-08 20:22:37

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

bubailong 说:

厉害厉害,学习了,这回可玩性就大多了,有声音吗?

我说我杀人不眨眼 你问我眼睛酸不酸?
上面搞了这么多 都是硬解视频流 声音要先把声卡配出来 然后用以下命令解码才有

gst-launch-1.0 filesrc location=bad_apple.mp4 ! qtdemux name=demux demux.audio_0 \
! queue ! decodebin ! audioconvert ! audioresample ! alsasink \
demux.video_0 ! queue ! h264parse ! omxh264dec ! videoconvert ! videoscale ! fbdevsink

离线

#8 2021-01-08 20:24:48

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

f1c100_ 说:

这个帧率有多少呢?

没测试过 肯定比bsp差一些 追求极致要配合DE 省去软件yuv转rgb环节

离线

#9 2021-01-08 20:27:57

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

bubailong 说:

为啥无法启动呢?没有任何输出

我估计你用F1C100s玩火了 内存不足警告
注意串口接口 歪朵拉R3的是PA2 PA3

最近编辑记录 逸俊晨晖 (2021-01-08 20:36:13)

离线

#10 2021-01-08 20:54:26

bubailong
会员
注册时间: 2020-04-16
累计积分: 86

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

逸俊晨晖 说:
bubailong 说:

为啥无法启动呢?没有任何输出

我估计你用F1C100s玩火了 内存不足警告
注意串口接口 歪朵拉R3的是PA2 PA3

我知道了,R3默认的是串口1,不是串口0

离线

#11 2021-01-10 10:05:32

bubailong
会员
注册时间: 2020-04-16
累计积分: 86

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

昨天调了一天,按照教程  /dev中始终不出现cedar_dev和ion 这两个

_20210110095810.png_20210110095924.png_20210110095939.png_20210110100034.png


内核中也勾选cedarx,编译后放进TF卡启动,就是不出现

大神,帮我看看,是哪一步出错了。。

离线

#12 2021-01-10 10:45:13

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

bubailong 说:

大神,帮我看看,是哪一步出错了。。

在设备树中 cedar_dev和ion 的status 项从 disabled改成okay

离线

#13 2021-01-10 10:57:51

bubailong
会员
注册时间: 2020-04-16
累计积分: 86

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

逸俊晨晖 说:
bubailong 说:

大神,帮我看看,是哪一步出错了。。

在设备树中 cedar_dev和ion 的status 项从 disabled改成okay


谢谢了,出现了

离线

#14 2021-01-12 14:47:21

nonzhe
会员
注册时间: 2020-09-30
累计积分: 2

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

为什么这么卡,看上去fps好低啊?

离线

#15 2021-01-15 01:41:47

逸俊晨晖
会员
注册时间: 2018-08-29
累计积分: 121

Re: F1C200s主线gstreamer使用openmax调用cedar硬解码

nonzhe 说:

为什么这么卡,看上去fps好低啊?

超频走起 DE走起

离线

页脚

工信部备案:粤ICP备20025096号 Powered by FluxBB

感谢为中文互联网持续输出优质内容的各位老铁们。 QQ: 516333132, 微信(wechat): whycan_cn (哇酷网/挖坑网/填坑网) service@whycan.cn