近日阿里巴巴淘系技术多媒体算法团队的同学，以大幅领先第二名的成绩获得了在 ICCV2021 上举办的第一届室外场景下的人体轨迹预测比赛（ SoMoF
Challenge ）的冠军，同时比赛论文被该 Workshop 接收。
作为计算机视觉领域的三大顶级会议之一， ICCV 是每年学界的重要事件。ICCV 全称为 International Conference on Computer Vision ，中文为国际计算机视觉大会。这个会议是由 IEEE 主办的全球最高级别学术会议，每两年在世界范围内召开一次，在业内具有极高的评价。而由斯坦福大学主办的第一届 SoMoF Challenge 以人体轨迹预测这一既有广阔应用前景又极具挑战的任务为主题，吸引了来自众多高校和工业界的参赛者。
本次Challenge中我们通过改进图卷积网络，应用轨迹信息作为输入，通过设计新颖的训练和数据处理策略，获得了2D数据集PoseTrack和3D数据集3DPW两个子任务上的冠军，并且在两个数据集上分别领先第二名5%和13%。
比赛地址：https://somof.stanford.edu/workshops/iccv21
背景
随着计算机视觉研究的不断深入，许多识别类任务，如动作认别，姿态识别取得了重大的进展。为了进一步拓宽计算机视觉的应用场景，越来越多的研究者将注意力从“识别”类任务转移到“预测”类任务上。人体动作序列预测就是其中一个颇受关注的方向。
概括来说，动作序列预测要做的是，根据给定图像序列中的人体关节点的2D或3D坐标，预测接下来若干帧图像序列中的关节点的位置。值得一提的是，接下来若干帧的图像信息是不可见的。
动作序列预测是一个很有应用前景，也极具挑战的研究方向。它的应用场景广泛，包括自动驾驶，人机交互，安防，AI健身教练等。举个例子，如果一辆行进中的自动驾驶汽车，通过观察斑马线上路人过马路时的画面，能够预测接下来他们的行动轨迹，那就能及时停车或者前进，减小交通事故发生的概率。
同时这还是一个很有挑战的方向。由于室外场景的复杂性，人们自身行动的随意性，周围人和物的多变性，以及预测类任务本身自带的不确定性，都会增加未来时刻动作序列预测的难度。
本次比赛中，我们通过采用在解决手淘场景下的人体/人手姿态估计时提炼出的技术积累，结合动作序列任务本身的特性，设计了新的网络结构，采用了新颖的训练和数据处理策略，在此次比赛中获得了第一名的结果，具体方法将在下文介绍。
网络结构
我们的网络输入只有关节点的坐标序列。对于实验所用到的两个数据集来说，在PoseTrack上，使用的是14个关节点的2D图像坐标，在3DPW数据集上，使用的是24个关节点的3D世界坐标。
实验中我们尝试增加了图像信息，效果都有所下降，原因可能是关节点本身已经是图像信息对关节点预测最有效最精简的信息，额外的图像信息分散了网络的关注点，反倒不利于网络的学习。
网络结构我们采用的是GCN结构。在输入的关节点序列进网络前，先经过一个DCT变换，将时域信息转换到频域。在GCN的最后，经过iDCT变换，将频域信息转换回到时域中，即为预测的结果。
GCN相比RNN/LSTM的优势是，所有帧的预测结果可以一次预测出来，不需要一帧一帧的连续多帧预测。
