解说梅西球赛、英雄联盟，OpenAI GPT-4视觉API被开发者玩出新花样

用过 OpenAI 视觉 API 的开发者都被惊艳到了。

文章开始，我们先来看一段球赛解说视频：

                              ^{相关代码：https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb}

解说效果是这样的：

• 提取视频帧；
• 构建描述提示；
• 发送 GPT 请求；
• 制作语音解说提示；
• 生成语音解说脚本；
• 将脚本转换为音频；
• 将音频与视频结合。

具体内容请参见以下教程：

做了类似实验的开发者评价说，OpenAI 视觉 API 的识别速度很快、准确性也很高。甚至有人直接把它当实时绘图工具来用，把手里的草图实时转换为此前调用专业绘图工具才能绘制的图表：

在生活中，它能用于构建更加智能的机器人，让机器人实时分析眼前的情景，随机应变，这也是当前大火的具身智能所研究的问题。

          ^{国内创业公司开发的具身智能机器人（参见《独家 | 达摩院后的下一站：陈俊波推出具身智能大模型，要给所有机器人做一颗脑袋》）}

在微软最近的一篇论文中，研究者也展示了他们在这方面取得的进展，比如用 GPT-4V 解读《憨豆先生》剧情。