WhyCan Forum(哇酷开发者社区)

前置要求：
基于aodzip的cedar：
https://whycan.com/t_4219.html
完成以上操作后 要保证能在/dev目录下找到cedar_dev和ion

基本思路：
aodzip已经搞出了libcedar和openmax
全志的硬编解码库（即libcedarc\library\arm-linux-gnueabihf里面的库）可以操作设备/dev/cedar_dev
libcedar可以操作全志硬编解码库和设备/dev/ion
openmax是对libcedar的操作封装 用于作为ffmpeg和gstreamer的编解码器插件
全志已经对openmax操作libcedar做好了适配 我们可以用支持openmax插件的音视频编解码器进行硬件编解码
aodzip原贴里有人提到过可以使用gstreamer1.0进行验证 本贴就是通过gstreamer1.0的插件openmax调用cedar进行H264解码

注意：openmax可以作为ffmpeg的编码器插件 不能直接作为ffmpeg的解码器插件 有个例外 树莓派可用使用openmax作为ffmpeg的解码器插件 这个是特殊接口

gstremer适配：

buildroot:
因为全志的硬编解码库默认是用glibc编译的 所以要确定buildroot使用的c库是glibc
打开buildroot菜单

make menuconfig

检查
Toolchain->C library (glibc)

添加openmax组件
Target packages->Audio and video applications->bellagio

添加gstreamer组件
Target packages->Audio and video applications->gstreamer 1.x
同目录下
enable command-line parser
enable tracing subsystem
enable gst-debug trace support
enable plugin registry
install gst-launch & gst-inspect

添加gstreamer插件
同目录下
gst1-plugins-base
    videotestsrc
videoconvert
videorate

gst1-plugins-bayer2rgb-neon

gst1-plugins-good
avi (*.avi video)
    videofilter

gst1-plugins-bad
    autoconvert
    videoparsers
    videosignal
    fbdev            对fb设备操作的支持 选择后才能输出在fb上
    fdk-aac

gst1-libav                    这个是ffmpeg的解码库 可以做个软解对比
gst-omx                这个是openmax的插件接口

选择好后保存编译

make

openmax接口修改：
此时编译好后gstreamer的openmax插件接口是不可以正常使用的
使用全志的openmax插件解码器进行解码时会出现gstreamer协商错误
这是因为全志在openmax插件上新定义了颜色空间 而gstreamer的openmax接口不知道 所以我们要让gstreamer的openmax接口知道
（在文件libcedarc\openmax\include\OMX_IVCommon.h中的OMX_COLOR_FORMATTYPE枚举型下可以看到全志扩展了两个类型）
（在文件libcedarc\openmax\vdec\inc\omx_vdec_config.h的宏定义#define COLOR_FORMAT_DEFAULT           OMX_COLOR_FormatYVU420Planar 可以知道解码默认输出YVU420即YV12）

在gstreamer的openmax接口添加全志的颜色空间定义：

进入目录

cd output/build/gst-omx-1.16.0/

修改文件

vim omx/gstomxvideo.c

在函数gst_omx_video_get_format_from_omx的switch下添加case

case OMX_COLOR_FormatYVU420Planar:
format = GST_VIDEO_FORMAT_YV12;
break;

保存退出
:wq

在当前目录下删掉buildroot对于gst-omx的编译构建标记

rm .stamp_built .stamp_configured .stamp_target_installed .stamp_staging_installed

回到buildroot目录下

cd ../../../

再次编译

make

此时 带gstream和openmax的文件系统构建完成
开机进行硬解码验证

gst-omx注册：

gstreamer使用openmax前要先进行注册

先备份一下注册文件

cp /etc/xdg/gstomx.conf /etc/xdg/gstomx.conf.bck

修改gst-omx插件注册文件

vi /etc/xdg/gstomx.conf

（注意使用vi时不要用方向键 不然可能会乱码 用hjkl键移动光标）

可以发现有两个omxh264dec 对这两个项 添加或者替换以下键值对

core-name=/usr/lib/libOmxCore.so
component-name=OMX.allwinner.video.decoder.avc
hacks=no-component-role;no-disable-outport
（最后这个no-disable-outport一定要加 不然无法解码）
此时注册gst-omx成功

最后一步！！！！！！
以下命令验证
使用gstreamer的插件openmax调用cedar硬解码

gst-launch-1.0 filesrc location=bad_apple.mp4 ! qtdemux ! h264parse ! omxh264dec ! autovideoconvert ! fbdevsink

命令简析
filesrc location=        要解码的文件
qtdemux             解容器 输出视频流
h264parse             流格式转换
omxh264dec         输入视频流 输出帧
autovideoconvert     帧格式转换
fbdevsink             显示在fb

使用ffmpeg的h264解码器进行软解 对比效果

gst-launch-1.0 filesrc location=bad_apple.mp4 ! qtdemux ! avdec_h264 ! autovideoconvert ! fbdevsink

验证平台：
硬件 荔枝派zero
linux 主线内核5.2荔枝派官方的
启动方式 TF卡
h264文件 bad_apple.mp4

其余的硬件编解码器可以用同样的方式使用
f1c100s也可以这样使用

至此 硬解码连接通用音视频解码器的最后一公里已经完成了 主要的多媒体功能已经步入正轨 标志着v3s和f1c100s可以摆脱方案商的奇怪sdk 使用主流的开发框架进行开发

最后感谢前人的努力 感谢aodzip 感谢挖坑网 感谢晕哥