UniffordInteractor：基于统一功能推理的人机与多物体交互生成

在具身智能（Embodied AI）与沉浸式增强现实/虚拟现实（AR/VR）领域，生成合理且动态的人与物体交互（Human Object Interaction, HOI）技术已取得显著进展。尽管现有的 HOI 方法已有效探索了人类与单个或固定物体的交互，但在复杂的多物体交互场景中仍显局限。同时，以往的方法更侧重于人与物体关系中蕴含的接触信息，而忽视了不同实体之间接触状态（即物体与物体之间）的重要性。 为克服这些局限，我们提出了 UniffordInteractor。这是一种“先推理后交互”（Reasoning-then-Interacting）框架，利用统一可供性（unified affordance）来实现逼真且长周期的人与多物体交互建模。 在推理阶段，我们设计了统一可供性推理器（Unified Affordance Reasoner, UAR）。该模块采用微调后的 3D 多模态大语言模型，进行以物体为中心的统一可供性预测。 在交互阶段，我们提出了分层交互生成器（Hierarchical Interaction Generator, HIG）。该生成器将交互生成过程建模为分层自回归预测（例如从根节点到身体再到手部最后到物体），并以获取的统一可供性作为条件约束。 大量实验表明，UniffordInteractor 在人与多物体交互生成任务上超越了当前最先进（SOTA）的同类方法。