hybrid-region-representation

提到此概念的论文 / 教程

📄 论文 📅 2026-06-14

Ferret:任意形状、任意粒度的「指代 + 定位」多模态大模型

Ferret 用「混合区域表示」(离散坐标 + 连续特征)把用户圈的任意形状区域(点/框/涂鸦/自由形状)编码进 LLM 输入,同时在输出端把名词后接坐标实现定位——一个模型统一了 referring(区域→语义)和 grounding(语义→区域)。 它是 LISA「文本→掩码」的**输入侧对偶**:LISA 解决"想哪打哪"的输出,Ferret 解决"圈哪问哪"的输入。