在这篇文章中，我想展示如何借助不同的软件工具从 Youtube 上发布的新闻剪辑中全自动生成包含文本和图像的新闻文章。使用当前用于处理媒体数据的 AI 模型，例如 OpenAI Whisper、OpenAI GPT3 和 Stable Diffusion。

OpenAI Whisper 是最近发布的模型，用于将音频数据转换为具有前所未有质量的书面文本。它已作为开源软件免费提供，并可作为 Python 库下载，网址为

https://github.com/openai/whisper

大语言模型中的经典“GPT3”并非免费提供，但可以通过付费 API 集成。我在这里使用它来创建一个简短的摘要，其中包含基本新闻事实和提取文本的新闻标题。

处理的第三部分是为帖子创建图像。我不使用 Youtube 视频中的任何帧，而是在生成图像模型的帮助下创建合成图像。在这里，我没有使用 OpenAI 变体“Dalle 2”，它也可以通过付费 API 获得，而是使用开源替代品“Stable Diffusion”。这可以从 Github 在

https://github.com/CompVis/stable-diffusion

Youtube视频的提取和文本的提取

为了使用 Python 访问 Youtube 视频的内​​容，我使用包“PyTube”

https://github.com/pytube/pytube

以下代码通过 BBC 新闻下载视频的音频部分并将其保存到文件中。

from pytube import YouTubestream = YouTube('https://www.youtube.com/watch?v=oaNwxtLKyk0').