新闻中心

扩散模型新突破!无需微调,就能高效稳定移除目标物体

2025-02-24
浏览次数:
返回列表

aixiv 专栏重磅发布:无需微调,高效目标移除的扩散模型新方法——attentive eraser

AIxiv 专栏持续关注并报道全球顶尖AI研究成果。过去数年,我们已发布超过2000篇学术技术文章,涵盖各大高校和企业实验室的最新研究。欢迎投稿或联系我们报道您的优秀工作!投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

研究团队: 浙江工商大学统计与数学学院硕士生孙文灏、阿里巴巴算法工程师崔奔雷(共同第一作者),浙江工商大学统计与数学学院董雪梅教授(通讯作者)。

扩散模型在图像生成领域取得了显著进展,尤其在处理高维复杂数据方面优势明显。然而,将其应用于图像目标移除任务时,仍面临诸多挑战,例如移除目标后残留伪影等问题。为解决这些问题,本文提出了一种无需微调的基于扩散模型的目标移除方法——Attentive Eraser,显著提升了预训练扩散模型的目标移除能力。AAAI 2025 录用并选为 Oral Presentation。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

核心创新:

Attentive Eraser 的核心在于其双重创新:

  1. 注意力激活和抑制 (AAS): 通过巧妙地修改预训练扩散模型的自注意力机制,增强模型对背景的关注,同时抑制对前景目标的关注。 此外,引入相似性抑制 (SS) 机制,有效避免因自注意力机制导致的对背景中相似目标的误判。

  2. 自注意力重定向引导 (SARG): 利用 AAS 修改后的自注意力机制,引导逆向扩散采样过程,从而更精准地移除目标并生成与背景自然融合的内容。

图片

研究背景与方法:

当前,扩散模型如 Stable Diffusion (SD) 在图像生成方面表现出色。然而,直接应用于目标移除任务时,常出现伪影。虽然已有基于微调或提示工程的方法,但这些方法成本高且效果不稳定。Attentive Eraser 则提供了一种无需微调的解决方案,有效解决了这些问题。

图片

实验结果:

Reachout.ai Reachout.ai

一个AI驱动的视频开发平台,专为忙碌的企业家和销售团队打造

Reachout.ai 142 查看详情 Reachout.ai

实验结果表明,Attentive Eraser 在多种预训练扩散模型上均表现出色,甚至优于一些基于微调的方法。其在目标移除的质量和稳定性方面均取得了显著提升。用户偏好研究和 GPT-4o 评估进一步验证了其优越性。

图片

图片

图片

鲁棒性和可扩展性:

Attentive Eraser 对不同精细度的掩码具有鲁棒性,并可扩展到其他预训练扩散模型(例如,生成动漫图像的模型)。

图片

图片

论文及代码:

  • 论文标题:Attentive Eraser: Unleashing Diffusion Model's Object Removal Potential via Self-Attention Redirection Guidance
  • 论文链接:https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29c
  • Github 地址:https://www.php.cn/link/41111c8e0e924d1df17bf19f0da5c100
  • Diffusers Pipeline:https://www.php.cn/link/38d526e00fad4f0b9b4534405e5badfd
  • Model Scope Demo:https://www.php.cn/link/eb7bfee7a00af6aedab37fdb7fc71d64
  • Hugging Face Demo:https://www.php.cn/link/8210d4caae707aa1f8be6d3fd558812b

图片

图片

欢迎访问论文链接了解更多细节。

以上就是扩散模型新突破!无需微调,就能高效稳定移除目标物体的详细内容,更多请关注其它相关文章!


# 浙江  # 公司网站怎么优化好  # 大品牌建材网站建设  # 江苏seo助手推荐  # 凉山seo网站优化  # 重庆seo工具怎么做  # 番禺抖音seo推广排名  # 杭州机械行业网站优化  # 韭菜seo  # 武汉seo快速  # 石排生物医药网站推广  # 开源  # 你该  # 句话  # 工程  # 应用于  # 新突破  # 网易  # 就能  # 神技  # 移除  # Stable Diffusion  # Hugging Face  # 2025  # red  # 邮箱  # ai  # git 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 如何修改cad命令  单片机蜂鸣器响了怎么停  如何以命令符运行程序  春运抢票何时开始抢票的  win10锁屏壁纸怎么换360锁屏壁纸吗  typescript是什么类型的语言  什么网址不能域名解析  ai如何重复使用上一命令  得物怎样降低手续费 得物如何降低手续费教程  如何去掉拍电脑的纹路详细教程  交管12123协议头不完整是什么原因  typescript文件怎么打开  如何增加固态硬盘  多少毫安的充电宝可以带上飞机  ftp$如何执行宏命令  j*a二数组怎么创建  苹果的type-c接口是什么  360n5锁屏壁纸怎么设置  华为5g手机掉了怎么定位找回  爱奇艺vip会员可以同时几个人用?  单片机怎么做组合  新装固态硬盘如何安装  油电混动车仪表盘上的power是什么意思  显示器上power键是什么意思  夸克为什么会变小  折叠屏手机为什么这么小  linux如何跳回命令行界面  51单片机贴片怎么*  如何管理员打开cmd命令行窗口  折叠手机内屏为什么会坏  记录仪power灯亮是什么意思  制冰机power1灯亮是什么意思  python和typescript学哪个  夸克网盘下载为什么要钱  固态硬盘如何拆除  如何在命令行执行存储过程  苹果16配置参数有哪些  typescript数据怎么写  手机如何更改固态硬盘  怎么在typescript定义集合  什么是unix时间戳  如何更新固态硬盘固件  typescript变量是什么  课程伴侣电脑怎么登录  如何用命令连接mysql  5G类似微信的聊天软件有哪些  360n6锁屏壁纸怎么设置  苹果16哪些型号好用  美食音乐每日推荐怎么写  type-c接口接地是什么意思 

搜索