如何从gst-pipline中取Gpu帧数据来进行图像增强等相关操作

自主机器 Jetson 开发者专区
1

请使用下面的模版提问（创建话题后勾选相应的选项）：
Jetson 模组
Jetson AGX Orin
Jetson Orin NX
Jetson Orin Nano
Jetson AGX Xavier
Jetson Xavier NX
Jetson TX 系列
Jetson Nano

Jetson 软件
JetPack 5.1.3
JetPack 5.1.4
JetPack 6.0
JetPack 6.1
DeepStream SDK
NVIDIA Isaac

SDK Manager 管理工具版本
2.1.0
其他

问题描述
我需要使用Gstreamer来实现RTSP视频增强操作，需要尽可能缩短处理延时，我想得到如何从gst-pipline中取Gpu帧数据来为图像增强提供输入的相关操作

错误码
把这里替换为错误码（无需其他信息）

错误日志
把这里替换，粘贴错误日志文本（尽量粘贴错误文本，不要只上传截图）
如果有多个日志，请使用多个代码格式化文本

2

找到一些英文的参考

https://stackoverflow.com/questions/49284547/gstreamer-rtsp-creating-a-pipeline-to-reduce-latency-due-to-rtpjitterbuffer

https://gstreamer.freedesktop.org/documentation/tutorials/playback/hardware-accelerated-video-decoding.html?gi-language=c

https://github.com/NVIDIA-AI-IOT/deepstream_python_apps

参考代码

低延迟RTSP处理管道

gst-launch-1.0 -v \
rtspsrc location=rtsp://your_stream protocols=tcp latency=100 buffer-mode=slave ! \
queue max-size-bytes=0 ! \
rtph264depay ! \
h264parse ! \
nvv4l2decoder enable-max-performance=1 ! \
nvvideoconvert output-buffers=1 ! \
video/x-raw(memory:NVMM),format=RGBA ! \
appsink name=mysink emit-signals=true max-buffers=1 drop=true

优化管道

omxh264enc control-rate=2 preset-level=3 bitrate=4000000 
  iframeinterval=30 insert-sps-pps=1 insert-vui=1 
  enable-twopasscbr=1