Amodal completion experiment

COCOA 非模态目标补全实验

使用 COCOA 替代 SynergyAmodal16K 作为推理输入,经 GroundingDINO + SAM 获取可见掩码,再由 SynergyAmodal 生成完整目标。

首个 COCOA 样本的 SynergyAmodal 输出
完成样本固定随机种子
模态包含率越高越完整保留可见区域
可见区 PSNR输入与输出可见区域
中位推理耗时不含模型加载

01 / Method

推理链路

  1. 01COCOA 图像测试集随机抽样
  2. 02文本定位GroundingDINO
  3. 03可见掩码SAM 分割
  4. 04完整目标SynergyAmodal 两阶段推理

02 / Samples

逐样本结果

检测置信度
模态包含率
掩码扩张
新增区域占比
可见区 PSNR
推理耗时

03 / Metrics

逐图量化结果

查看原始 JSON ↗
#对象检测分数包含率扩张倍数新增占比PSNR耗时

04 / Analysis

实验分析

A

优势

无需针对 COCOA 再训练即可完成跨数据集推理;结果同时带透明通道,便于后续合成。

B

不足

前级自动分割偏差会被后续放大;当前无 amodal 真值,不能据此报告论文口径 mIoU/FID。

C

改进方向

补齐官方 COCOA 真值并实现多次采样择优;加入检测框/点提示纠错;按遮挡程度和类别分层统计,同时引入感知质量与文本一致性指标。