本文详解如何在 ffmpeg 中根据视频时长智能调整音频长度——若音频过短则循环填充至视频长度,若过长则精准截断,确保音画严格同步,并提供可直接集成的 node.js 实现方案。
本文详解如何在 ffmpeg 中根据视频时长智能调整音频长度——若音频过短则循环填充至视频长度,若过长则精准截断,确保音画严格同步,并提供可直接集成的 node.js 实现方案。
在音视频合成场景中(如短视频生成、AI成片导出),常需将独立音频轨道与视频文件对齐。核心挑战在于:音频长度往往与视频不一致——既不能简单静音填充,也不能粗暴裁剪导致关键内容丢失。FFmpeg 提供了灵活的流处理能力,但需结合 ffprobe 获取精确时长,并通过 -filter_complex 配合 apad 与 amix 实现动态适配。
⚠️ 注意:apad 默认会无限循环音频,但若未配合 amix=duration=first 或 -shortest,可能导致输出异常延长。务必显式控制混合时长逻辑。
export async function overlayAudio(id: number, music: Music) { console.log("start"); const videoPath = path.join(__dirname, `../../../uploads/movie/${id}/result/movie/predfinal.mp4`); if (music === null) { return videoPath.match(/uploads(.*)/)[0]; } const audioPath = path.join(__dirname, `../../../${music.audio}`); const outputVideoPath = path.join(__dirname, `../../../uploads/movie/${id}/result/movie/output.mp4`); const matchPath = outputVideoPath.match(/uploads(.*)/); // 并行获取音视频时长(秒,浮点数) const [videoDuration, audioDuration] = await Promise.all([ execPromise(`ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "${videoPath}"`), execPromise(`ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 "${audioPath}"`) ]); const vDur = parseFloat(videoDuration.trim()); const aDur = parseFloat(audioDuration.trim()); let cmd: string; if (vDur > aDur) { // 音频循环延长至视频长度 cmd = `ffmpeg -i "${videoPath}" -i "${audioPath}" ` + `-filter_complex "[0:a]volume=1[a];[1:a]volume=0.2[b];[b]apad[looped_audio];[a][looped_audio]amix=inputs=2:duration=first:dropout_transition=2" ` + `-c:v copy -c:a aac -strict experimental "${outputVideoPath}"`; } else if (vDur < aDur) { // 音频截断至视频长度 cmd = `ffmpeg -i "${videoPath}" -i "${audioPath}" ` + `-filter_complex "[0:a]volume=1[a];[1:a]volume=0.2[b];[b]apad[looped_audio];[a][looped_audio]amix=inputs=2:duration=first:dropout_transition=2" ` + `-c:v copy -c:a aac -strict experimental -t ${vDur} "${outputVideoPath}"`; } else { // 时长相等,直接混音 cmd = `ffmpeg -i "${videoPath}" -i "${audioPath}" ` + `-filter_complex "[0:a]volume=1[a];[1:a]volume=0.2[b];[b]apad[looped_audio];[a][looped_audio]amix=inputs=2:duration=first:dropout_transition=2" ` + `-c:v copy -c:a aac -strict experimental "${outputVideoPath}"`; } try { await execPromise(cmd); console.log("end!"); return matchPath[0]; } catch (error) { console.error("FFmpeg execution failed:", error); throw new Error(`Audio overlay failed: ${error.message}`); }}
该方案已在生产环境稳定运行,支持毫秒级精度对齐,兼顾性能与鲁棒性。如需进一步优化(如多段循环防重复感、动态音量均衡),可基于此框架扩展 afade、dynaudnorm 等滤镜。