两侧同时换到之前的修订记录 前一修订版 后一修订版 | 前一修订版 |
public:it:ffmpeg [2021/10/27 16:03] – [硬解] oakfire | public:it:ffmpeg [2024/12/27 13:40] (当前版本) – [Tips] oakfire |
---|
* Official site:[[https://ffmpeg.org/|ffmpeg.org]] | * Official site:[[https://ffmpeg.org/|ffmpeg.org]] |
* 静态编译下载:[[https://johnvansickle.com/ffmpeg/]] | * 静态编译下载:[[https://johnvansickle.com/ffmpeg/]] |
| * ffmpeg 原理:[[https://ffmpeg.xianwaizhiyin.net/]] |
| |
===== FFmpeg使用===== | ===== FFmpeg使用===== |
* 命令行使用:https://www.ostechnix.com/20-ffmpeg-commands-beginners/ | * 命令行使用:https://www.ostechnix.com/20-ffmpeg-commands-beginners/ |
* 使用入门:https://www.ruanyifeng.com/blog/2020/01/ffmpeg.html | * 使用入门:https://www.ruanyifeng.com/blog/2020/01/ffmpeg.html |
| * [[https://ffmpeg.guide/| 辅助工具,根据节点线框,生成对应的 FFmpeg 命令]] |
* FFmpeg 的命令可以分成五个部分:<code bash>ffmpeg [$1] {[$2] -i $3} ... {[$4] $5} ...</code> | * FFmpeg 的命令可以分成五个部分:<code bash>ffmpeg [$1] {[$2] -i $3} ... {[$4] $5} ...</code> |
* $1: 全局参数 | * $1: 全局参数 |
==== 常用指令 ==== | ==== 常用指令 ==== |
* 列出支持的容器类型:''ffmpeg -formats'' | * 列出支持的容器类型:''ffmpeg -formats'' |
* 列出支持的编码格式:''ffmpeg --codecs'' | * 列出支持的编码格式:''ffmpeg -codecs'' |
* 列出安装的编码器:''ffmpeg -encoders'' | * 列出安装的编码器:''ffmpeg -encoders'' |
* 列出视频信息:''ffmpeg -i video.mp4'' | * 列出视频信息:''ffmpeg -i video.mp4'' |
* 生成画面带时间戳的测试视频:<code bash>ffmpeg -f lavfi -i testsrc=duration=100:size=1280x720:rate=30:decimals=2 -pix_fmt yuv420p -vcodec libx264 output.mp4 | * 生成画面带时间戳的测试视频:<code bash>ffmpeg -f lavfi -i testsrc=duration=100:size=1280x720:rate=30:decimals=2 -pix_fmt yuv420p -vcodec libx264 output.mp4 |
</code> 生成空画面测试视频:<code bash>ffmpeg -f lavfi -i color=c=blue:s=1280x720:r=30 -pix_fmt yuv420p ...</code>详细看 ffmpeg 滤镜文档[[https://ffmpeg.org/ffmpeg-filters.html#toc-allrgb_002c-allyuv_002c-color_002c-haldclutsrc_002c-nullsrc_002c-pal75bars_002c-pal100bars_002c-rgbtestsrc_002c-smptebars_002c-smptehdbars_002c-testsrc_002c-testsrc2_002c-yuvtestsrc|ffmpeg-filters]]。如果是实时视频流,比如往v4l2推流,加 ''-re'' 参数来以视频原始速度来生成:<code bash>ffmpeg -re -f lavfi -i color=c=blue:s=1280x720:r=30 -pix_fmt yuv420p -f v4l2 /dev/video0</code> | </code> 生成空画面测试视频:<code bash>ffmpeg -f lavfi -i color=c=blue:s=1280x720:r=30 -pix_fmt yuv420p ...</code>详细看 ffmpeg 滤镜文档[[https://ffmpeg.org/ffmpeg-filters.html#toc-allrgb_002c-allyuv_002c-color_002c-haldclutsrc_002c-nullsrc_002c-pal75bars_002c-pal100bars_002c-rgbtestsrc_002c-smptebars_002c-smptehdbars_002c-testsrc_002c-testsrc2_002c-yuvtestsrc|ffmpeg-filters]]。如果是实时视频流,比如往v4l2推流,加 ''-re'' 参数来以视频原始速度来生成:<code bash>ffmpeg -re -f lavfi -i color=c=blue:s=1280x720:r=30 -pix_fmt yuv420p -f v4l2 /dev/video0</code> |
| * mp4 转 m3u8 <code bash>ffmpeg -i input.mp4 -profile:v baseline -level 3.0 -start_number 0 -hls_time 10 -hls_list_size 0 -f hls .\outputDir\index.m3u8</code> |
| * 只测试解码不保存<code bash>ffmpeg -i input.mp4 -f null /dev/null</code> |
| * rtsp 推流,使用 [[https://github.com/bluenviron/mediamtx|mediamtx]] 在8554端口建立rtsp 服务,此时可用 ffmpeg 推流:<code bash>ffmpeg -re -stream_loop -1 -i input.mp4 -vcodec copy -vbsf h264_mp4toannexb -f rtsp -rtsp_transport tcp rtsp://192.168.0.165:8554/chn_name</code> |
| * 按比例缩放并补边:<code bash>ffmpeg -i input704x576.mp4 -vf "scale=384:216:force_original_aspect_ratio=decrease,pad=384:216:-1:-1:color=green" output.mp4</code> |
| * 低延时播放测试:<code bash>ffplay -v debug -x 640 -y 380 https://192.168.0.151:6161/dev0.flv -fflags nobuffer -analyzeduration 1000000</code> |
===== FFmpeg编程 ===== | ===== FFmpeg编程 ===== |
==== 硬解 ==== | ==== 硬解 ==== |
00:02.0 VGA compatible controller: Intel Corporation Device 3e98 (rev 02) | 00:02.0 VGA compatible controller: Intel Corporation Device 3e98 (rev 02) |
</code> | </code> |
* 在 [[https://github.com/intel/intel-vaapi-driver/blob/master/src/i965_pciids.h| i965_pciids.h]] 里查找上面所记的 0x3e98 ,如果有对应的id, 则可以编译对应新版本的 intel-vaapi-driver 来解决。如果没有,则大概需要使用 [[https://github.com/intel/media-driver|media-driver]] | * 在 [[https://github.com/intel/intel-vaapi-driver/blob/master/src/i965_pciids.h| i965_pciids.h]] 里查找上面所记的 ''0x3e98'', 如果有对应的id, 则可以编译对应新版本的 intel-vaapi-driver 来解决。如果没有,则大概需要使用 [[https://github.com/intel/media-driver|media-driver]] |
* 更新libva 及 i965_dri_video.so 步骤:<code bash> | * 更新libva 及 i965_dri_video.so 步骤:<code bash> |
# 编译对应版本的libva | # 编译对应版本的libva |
sudo apt install autoconf libtool | sudo apt install autoconf libtool build-essential pkg-config |
git clone https://github.com/intel/libva.git | git clone https://github.com/intel/libva.git |
cd libva | cd libva |
make | make |
sudo make install | sudo make install |
| |
# 编译 intel-vaapi-driver | # 编译 intel-vaapi-driver |
git cone https://github.com/intel/intel-vaapi-driver.git | git cone https://github.com/intel/intel-vaapi-driver.git |
make | make |
sudo make install | sudo make install |
| |
# 设置库路径就可以使用新驱动来硬解 | # 设置库路径就可以使用新驱动来硬解 |
export LD_LIBRARY_PATH=/opt/intel/libva/lib:$LD_LIBRARY_PATH | export LD_LIBRARY_PATH=/opt/intel/libva/lib:$LD_LIBRARY_PATH |
pFormatCtx->flags = AVFMT_FLAG_NOBUFFER; | pFormatCtx->flags = AVFMT_FLAG_NOBUFFER; |
int ret = avformat_open_input(&pFormatCtx, ...);</code> | int ret = avformat_open_input(&pFormatCtx, ...);</code> |
* ''avformat_open_input'' 默认是阻塞的,如果是 tcp 连接,可设置 ''listen_timeout''(单位秒) 或者 ''stimeout''(单位微秒) 来达到超时处理;如果是 udp 连接,则可以设置中断回调 ''pFormatCtx->interrupt_callback'' | * ''avformat_open_input'' 默认是阻塞的,如果是 tcp 连接,<del>可设置 ''listen_timeout''(单位秒) 或者 ''stimeout''(单位微秒) 来达到超时处理</del>, 参考官网具体协议文档来设置tcp超时,比如 rtsp: https://ffmpeg.org/ffmpeg-protocols.html#rtsp;如果是 udp 连接,则可以设置中断回调 ''pFormatCtx->interrupt_callback'' |
* 关于视频流初始解析时间: | * 关于视频流初始解析时间: |
* ''avformat_find_stream_info'' 的返回时间和 ''pFormatCtx->probesize'' 与 ''pFormatCtx->max_analyze_duration'' 相关,哪个先达到就返回。 | * ''avformat_find_stream_info'' 的返回时间和 ''pFormatCtx->probesize'' 与 ''pFormatCtx->max_analyze_duration'' 相关,哪个先达到就返回。 |
codec_ctx_->thread_type = FF_THREAD_FRAME; | codec_ctx_->thread_type = FF_THREAD_FRAME; |
</code> | </code> |
| * 第三方库比如 libx264 libopenh264 是在解码时直接指定了才会用到,并且 ffmpeg 软解 h264 时使用的是内置解码器,所以编译 ffmpeg 时可以酌情去掉这些第三方库依赖。 |
| * 新的解码循环,''avcodec_send_packet'' 与 ''avcodec_receive_frame'' 并不是一一对应的,两者是异步分开的 |
| * 例如h264软解时,解码器会缓存十几帧数据,即喂了十几个包才会出第一个帧,包与帧可按输入与接收的顺序来一一对应,或通过 pts 确定。 |
| * ''frame->best_effort_timestamp'' 可能是更好的帧播放 timestamp. |
| * 如果 ''avcodec_send_packet''时 packet参数 为 NULL,解码器进入 flush 模式,此时可循环 ''avcodec_receive_frame'' 获取缓存的frame, 直到返回 ''AVERROR_EOF'' |
| * ''avcodec_flush_buffers'' 可直接清除解码器缓存帧,用于 seek 操作或切换流操作。 |
| * ffmpeg 在 android 上解码音频:[[https://medium.com/@donturner/using-ffmpeg-for-faster-audio-decoding-967894e94e71|using-ffmpeg-for-faster-audio-decoding]] |
| * ''avformat_open_input'' 会自动 free 第四个非空参数 ''*options'', 并把找不到的选项重新申请内存并返还给 ''*options'',所有需要手动判断 ''*options'' 是否非空并释放, 否则内存泄露 |
| |
| |
} | } |
</code> | </code> |
* 大部分错误码为PIOSIX标准中错误码的负值 | * 大部分错误码为POSIX标准中错误码的负值 |
* 日志:提供了''av_log_set_callback''函数来设置日志回调函数,自行输出各等级日志,方便查看具体信息。回调函数必须线程安全。 | * 日志:提供了''av_log_set_callback''函数来设置日志回调函数,自行输出各等级日志,方便查看具体信息。回调函数必须线程安全。 |
| |