3D模型分割新方法解放双手!不用人工标注,只需一次训练 |
您所在的位置:网站首页 › 3dmax模型突然黑了 › 3D模型分割新方法解放双手!不用人工标注,只需一次训练 |
鉴于目前2D图像的划分已经有比较成功的方法,研究团队决定从2D图像入手。 首先,把3D点云转换为对应的2D图像,然后作为2D多模态⼤模型的输⼊,并从中提取对于图像的语⾔描述。 紧接着,利⽤图⽚和点云之间的投影关系,图⽚的语言描述也就自然能够关联到 3D点云数据了。 并且,为了兼容 不同粒度的3D物体,PLA还提出了 多粒度的3D点云-⾃然语⾔关联方法。 对于整个3D场景⽽⾔,PLA将场景对应所有图⽚提取的语⾔描述进⾏总结,并⽤这个总结后的语⾔关联整个3D场景。 对于每个图像视⻆对应的部分3D场景⽽⾔,PLA直接利⽤图像作为桥梁来关联对应的3D点云和语⾔。 对于更加细粒度的3D物体⽽⾔,PLA通过⽐较不同图像对应点云之间的交集和并集,以及语⾔描述部分的交集和并集,提供了⼀种更加细粒度的3D-语⾔关联⽅式。 这样一来,研究团队就能够得到成对的 3D点云-⾃然语⾔,这一把直接解决了人工标注的问题。 PLA用得到的“3D点云-⾃然语⾔”对和已有的数据集监督来让3D模型理解检测和分割问题定义。 具体来说,就是利⽤ 对⽐学习来拉近每对3D点云-⾃然语⾔在特征空间的距离,并推远不匹配的3D点云和⾃然语⾔描述。 讲了这么多原理,那PLA在具体分割任务中表现到底如何? 语义分割任务超越基准65% 研究⼈员通过测试3D开放世界模型在未标注类别的性能作为主要衡量标准。 先是在ScanNet和S3DIS的语义分割任务上,PLA超过以前的基线⽅法35%~65%。 在实例分割任务中,PLA也有提升,对比之前的方法,PLA提升幅度15%~50%不等。 研究团队 这个项目的研究团队来自香港大学的CVMI Lab和字节跳动。 CVMI Lab是香港大学的一个人工智能实验室,实验室2020年2月1日成立。 论⽂地址: https://arxiv.org/pdf/2211.16312.pdf 项⽬主⻚: https://github.com/CVMI-Lab/PLA — 完 — 量子位 QbitAI · 头条号签约 关注我们,第一时间获知前沿科技动态返回搜狐,查看更多 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |