Stable Diffusion 3 研究论文发布（附论文地址）

AILSJ 3月5日最新消息，Stability AI 发布了关于其最新研究成果 Stable Diffusion 3 的研究论文。这篇论文深入探讨了 Stable Diffusion 3 的底层技术，这是一种文本到图像生成系统，据称在字体排版和提示遵循方面超越了现有的最先进系统，如 DALL·E 3、Midjourney v6 和 Ideogram v1。Stable Diffusion 3 采用了新的多模态扩散变换器（MMDiT）架构，该架构为图像和语言表示使用不同的权重集，从而提高了文本理解和拼写能力。

性能提升：Stable Diffusion 3 在视觉美学、提示遵循和字体排版方面，基于人类偏好评估，与竞争模型相比表现优异。

MMDiT架构：新架构允许图像和文本标记之间的信息流动，以改善输出的整体理解和排版。

改进的Rectified Flows：通过重新加权，Stable Diffusion 3 在训练过程中采用了一种新的轨迹采样计划，提高了性能。

可扩展性：MMDiT架构易于扩展到多种模态，如视频。

灵活的文本编码器：在推理过程中移除内存密集型的 T5 文本编码器，可以显著降低 SD3 的内存需求，同时只有微小的性能损失。

硬件兼容性：在消费级硬件上，最大的 SD3 模型（8B 参数）可以在 RTX 4090 的 24GB VRAM 中运行，并在 50 次采样步骤下，34 秒内生成 1024×1024 分辨率的图像。

模型变体：初始发布将包括从 800M 到 8B 参数的多种 Stable Diffusion 3 模型变体，以进一步消除硬件障碍。

这篇研究论文将在 arXiv 上提供，并且 Stability AI 邀请感兴趣的人注册等待列表，以参与 Stable Diffusion 3 的早期预览。

Stable Diffusion 3 详细介绍，点此了解。

Tags：

本站须知：本站资源收集于网络仅供用于学习和交流，本站一切资源不代表本站立场，我们尊重软件和教程作者的版权，如有不妥请联系本站处理！