stable diffusion背后公司stability ai又上新了。

这次带来的是图生3D方面的新进展：

基于Stable Video Diffusion的Stable Video 3D（SV3D），只用一张图片就能生成高质量3D网格。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Stable Video Diffusion (SVD)是Stability AI之前发布的一个用于生成高分辨率视频的模型。SV3D的问世标志着视频扩散模型首次被成功运用到3D生成领域。

官方表示，基于此，SV3D大大提高了3D生成的质量和视图一致性。

模型权重依然开源，不过仅可用于非商业用途，想要商用的话还得买个Stability AI会员~

话不多说，还是来扒一扒论文细节。

将视频扩散模型用于3D生成

引入潜在视频扩散模型，SV3D的核心目的是利用视频模型的时间一致性来提高3D生成的一致性。

并且视频数据本身也比3D数据更容易获得。

Stability AI这次提供两个版本的SV3D：

• SV3D_u：基于单张图像生成轨道视频。

• SV3D_p：扩展了SV3D_u的功能，可以根据指定的相机路径创建3D模型视频。

研究人员还改进了3D优化技术：采用由粗到细的训练策略，优化NeRF和DMTet网格来生成3D对象。

他们还设计了一种名为掩码得分蒸馏采样（SDS）的特殊损失函数，通过优化在训练数据中不直接可见的区域，来提高生成3D模型的质量和一致性。

同时，SV3D引入了一个基于球面高斯的照明模型，用于分离光照效果和纹理，在保持纹理清晰度的同时有效减少了内置照明问题。

具体到架构方面，SV3D包含以下关键组成部分：

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

• UNet：SV3D是在SVD的基础上构建的，包含一个多层UNet，其中每一层都有一系列残差块（包括3D卷积层）和两个分别处理空间和时间信息的Transformer模块。
• 条件输入：输入图像通过VAE编码器嵌入到潜在空间中，会和噪声潜在状态合并，一起输入到UNet中；输入图像的CLIP嵌入矩阵则被用作每个Transformer模块交叉注意力层的键值对。
• 相机轨迹编码：SV3D设计了静态和动态两种类型的轨道来研究相机姿态条件的影响。静态轨道中，相机以规律间隔的方位角围绕对象；动态轨道则允许不规则间隔的方位角和不同的仰角。

相机的运动轨迹信息和扩散噪声的时间信息会一起输入到残差模块中，转换为正弦位置嵌入，然后这些嵌入信息会被整合并进行线性变换，加入到噪声时间步长嵌入中。

这样的设计旨在通过精细控制相机轨迹和噪声输入，提升模型处理图像的能力。

此外，SV3D在生成过程中采用CFG（无分类器引导）来控制生成的清晰度，特别是在生成轨道的最后几帧时，采用三角形CFG缩放来避免过度锐化。

研究人员在Obj*erse数据集上训练SV3D，图像分辨率为575×576，视场角为33.8度。论文透露，所有三种模型（SV3D_u，SV3D_c，SV3D_p）在4个节点上训练了6天左右，每个节点配备8个80GB的A100 GPU。

实验结果

在新视角合成（NVS）和3D重建方面，SV3D超过了现有其他方法，达到SOTA。

从定性比较的结果来看，SV3D生成的多视角试图，细节更丰富，更接近与原始输入图像。也就是说，SV3D在理解和重构物体的3D结构方面，能够更准确地捕捉到细节，并保持视角变换时的一致性。

这样的成果，引发了不少网友的感慨：

可以想象，在未来6-12个月内，3D生成技术将会被用到游戏和视频项目中。

评论区也总少不了一些大胆的想法……

并且项目开源嘛，已经有第一波小伙伴玩上了，在4090上就能跑起来。

参考链接：
[1]https://twitter.com/StabilityAI/status/1769817136799855098。
[2]https://stability.ai/news/introducing-stable-video-3d。
[3]https://sv3d.github.io/index.html。

以上就是Stability AI开源上新：3D生成引入视频扩散模型，质量一致性up，4090可玩的详细内容，更多请关注其它相关文章！

# 锐化  # 辽宁网站建设方案软件  # 有seo培训班嘛  # 指定关键词优化排名价格  # 淘宝怎么做关键词的排名  # 湖南seo教程哪家好  # 潍坊网站建设营销推广  # 咸鱼关键词排名怎么查  # 杨老师网站建设  # 辽源seo服务案例分享  # 丹东大型网站优化排行榜  # 的是  # 结构化  # 人工智能  # 重构  # 就能  # 键值  # 是在  # 方位角  # 上新  # 开源  # stable diffusion  # stable video  # 键值对  # ai开源 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何更新typescript  商誉是什么意思  typescript如何开发  put linux命令如何书写  苹果16日发售哪些机型  shell如何注释所有命令  如何使用net命令  typescript用在哪里  旧固态硬盘如何卖出  如何查询固态硬盘序列  市盈率3.2是什么意思  市盈率中1stdv是什么意思  税负是什么意思  苹果16有哪些不同  系统如何装进固态硬盘  单片机怎么进行排序操作  羽毛球拍power9是什么意思  市盈率tt的扣非是什么意思  台达plc只有power灯亮是什么意思  夸克高考为什么不靠谱  165开头的是什么电话号码  单片机怎么判定高电平  solo交友软件怎么恢复聊天记录  vue项目如何用typescript  单片机计数程序怎么写  对象数组怎么用j*a  市盈率高是什么意思  夸克学习都有什么课程  学typescript要求什么  折叠屏手机为什么没火  如何体验苹果16系统  ping命令如何看问题  咋免费领取爱奇艺会员 如何免费领取爱奇艺会员步骤  品道音响上的power键是什么意思  如何用命令查看本机的操作系统  苹果16自带配件有哪些  如何用命令连接mysql  电信开通nfc功能是什么意思  怎么用typescript 写js  为什么学typescript  juice是什么意思  多少毫安的充电宝可以带上飞机  镜像ao3链接入口  怎么在爱奇艺中投屏到电视最新方法  typescript为什么现在才火  单片机怎么做组合  直接gmV是什么意思？直接GMV:定义和概念  如何用dos命令启动u盘  bored是什么意思  单片机蜂鸣器响了怎么停