如何让网球比赛转播上的虚拟广告更加逼真？

观看网球比赛转播时，你可能会注意到球场上偶尔会出现逼真的虚拟广告，或者在精彩回放时，屏幕上能精准地追踪那颗高速运动的网球。这一切神奇的视觉体验背后，都离不开 “摄像机标定”的计算机视觉技术。简单来说，摄像机标定就是让计算机反向推导出现场摄像机的位置、角度以及镜头焦距等参数，建立起二维电视画面与三维真实球场之间的桥梁。

在体育视频分析中，传统的摄像机标定算法通常假设摄像机的内部参数是固定的。现实情况中，网球转播极度依赖摄像机的变焦功能（Zooming）和摇摄（Panning），意味着摄像机的参数在不断变化。此外，转播视频还面临着以下几个问题：

（1）图像质量差：由于分辨率较低以及视频压缩，视频中的图像特征往往存在明显误差。

（2）特征模糊：摄像机的快速移动会导致部分球场特征变得模糊甚至缺失。

（3）特征集中：网球场的球网柱子很矮，导致图像特征在空间上的分布非常局限，增加了标定的难度。

综上所述，计算机计算出的摄像机参数常常会出现剧烈波动。好比一个人在不断摇头晃脑地看世界，如果用这样不稳定的参数去植入虚拟广告，观众看到的广告就会在屏幕上疯狂抖动。

为了解决这些难题，研究人员提出了基于“分组数据分析”和“类霍夫搜索（Hough-like search）”的创新算法。这套算法的设计思路共分为四个逻辑严密的步骤（说明：此处对应论文中的图2，即自动摄像机标定算法的完整流程图）。

第一步：提取地面特征

首先，算法会在图像中分割出网球场，利用直线检测技术找出球场上的9条主要界线。通过这9条线，算法可以计算出球场上14个关键交点的位置。图1清晰地展示了真实三维世界中的网球场是如何映射到二维图像平面上的，以及算法需要寻找的这14个关键特征点（C1到C14）。为了让这14个点更准确，算法会使用一种类似于微调的搜索机制，让二维图像和三维模型达到最佳匹配。

第二步：计算摄像机初始矩阵

光有地面的平面信息是不够的，算法还需要寻找空间中的参照物——网球网的两根柱子顶端。通过结合地面的14个点和网柱顶端的两个点，计算机就能初步解算出每一帧画面的摄像机投影矩阵。

第三步：寻找画面间的默契

这是算法最核心的创新点。研究人员观察到一个现象：网球转播中，摄像机往往固定在三脚架上，很多视频帧有着极其相似的视角。算法将那些视角相同、焦距相同的画面帧归为同一个“组”。在同一个组内，摄像机的某些参数理应是不变的（例如摄像机在现实中的物理位置）。通过对整个组的数据进行综合分析，可以有效抵消掉由于图像噪点或特征提取错误带来的波动，得到一个极其稳定的摄像机参数估计值。

第四步：异常帧处理

对于极少数因为图像过于模糊而无法被分入任何组的“异常画面”，算法会参考它前后的视频帧，推测出它的摄像机参数，并再次进行微调。

获取了极其稳定且准确的摄像机参数后，这项技术能在实际转播中做些什么呢？研究中展示了两个实用场景：

应用一：三维虚拟内容植入 (3D Virtual Content Insertion)

如果只是简单地把图片贴在视频上，画面一旦移动，假贴图就会穿帮。有了精准的三维参数，计算机可以将虚拟物体完美“放置”在真实的球场空间中。

（1）植入小型物体：如图8所示。研究人员在网球场地面上成功植入了一个虚拟的赛事Logo，无论镜头如何推拉摇移，Logo都仿佛真正印在红土上一样，视觉上非常平滑。

（2）植入大型物体：如图9所示。在球场周围植入了一个庞大的虚拟体育场围墙。实验证明，正是因为使用了前面提到的“分组分析”策略，才避免了大型虚拟物体的抖动感，实现了无缝融合。

应用二：网球检测与追踪 (Ball Detection and Tracking)

网球体积小、速度极快，在画面中只是一道残影。借助精准的摄像机参数，研究人员开发了一种增强型的轨迹追踪算法（对应论文中的图6，展示了该算法的五个核心组件流程）。算法首先将所有画面都转换到一个标准的统一视角下，剥离摄像机运动带来的干扰。通过去除干扰物，算法将候选的网球位置绘制在时间轴上（参考论文中的图7。图7是一张网球Y轴坐标随时间变化的波浪形轨迹图）。依靠这条平滑的轨迹，计算机不仅能在球员击球瞬间准确找到网球，甚至还能在高速运动中，精确计算出网球砸在地面上的“落点（Bounce point）”。

实验结果证实了该方法的有效性。在对比测试中，经过优化后的二维图像与三维模型匹配度平均提升了18%-30%。而在网球追踪测试中，该算法不仅能在比赛进行时找回原本会丢失的网球位置，其定位误差也从以往算法的约1.6个像素点，大幅降低到了约0.5个像素点，实现精度的飞跃。

学者介绍：余新国，华中师范大学国家数字化学习工程技术研究中心教授、博士生导师，澳大利亚伍伦贡大学名誉教授，湖北省智能科教研究会会长。主要研究方向包括人工智能教育、智能教育技术、教育机器人、智能教学系统，以及视频分析、计算机视觉、人机交互与多媒体技术，聚焦人工智能赋能教育与科研、智能科教系统研发及教育场景应用等问题。

ORCID：0000-0001-8379-6742

DOI：10.1016/j.cviu.2008.01.006

已收藏 0

点赞 0