HoliSDiP：通过整体语义和扩散先验实现图像超分辨率

文本到图像扩散模型已成为现实世界图像超分辨率 (Real-ISR) 的强大先验。然而，现有方法可能会由于文本提示噪声大和缺乏空间信息而产生意想不到的结果。在本文中，提出了 HoliSDiP，这是一个利用语义分割为基于扩散的 Real-ISR 提供​​精确文本和空间指导的框架。方法使用语义标签作为简洁的文本提示，同时通过分割掩码和提出的 Segmentation-CLIP Map 引入密集的语义指导。大量实验表明，HoliSDiP 通过降低提示噪声和增强空间控制，在各种 Real-ISR 场景中实现了图像质量的显着改善。

paper:https://arxiv.org/pdf/2411.18662v1
github:https://github.com/liyuantsao/HoliSDiP