穿墙透视算法|MIT华人Team通过墙壁和遮挡物的超强动作检测模型
介绍
了解人们的行为和互动通常取决于看到他们。从视觉数据中自动进行动作识别的过程已成为计算机视觉界众多研究的主题。但是如果太暗，或者人被遮挡或在墙壁后面怎么办？在本文中，我们介绍了一个神经网络该模型可以在光线不足的情况下通过墙壁和遮挡物检测人类的行为。我们的模型将射频（RF）信号作为输入，生成3D人体骨骼作为中间表示，并随着时间的推移识别多个人的动作和互动。通过将输入转换为基于中间骨架的表示形式，我们的模型可以从基于视觉的数据集和基于RF的数据集中学习，并允许这两个任务互相帮助。我们表明，在可见场景中，我们的模型可以达到与基于视觉的动作识别系统相当的准确性，但是在看不见人的情况下，该模型仍可以继续正常工作，因此可以解决超出当今基于视觉的动作识别的局限性的场景。…