Loading...

斯坦福??????-?-??????,迭代生成草图

智源社区9个月前发布 智源社区
252 0 0
本文来源  新智元  编辑:桃子
【新智元导读】有了??????-?-??????,不是艺术家,也成艺术家。

只需随笔一画,高清画作就来了。

比如,画一个中世纪城堡,简单画个门,画条路,一座美丽的城堡出现了。

斯坦福??????-?-??????,迭代生成草图

带邮箱的霍比特人房子

斯坦福??????-?-??????,迭代生成草图

海洋边缘的灯塔(PS:有点像海底星空)

斯坦福??????-?-??????,迭代生成草图

来自斯坦福的研究人员提出了??????-?-??????,一个能够将草图变成画作的模型。

斯坦福??????-?-??????,迭代生成草图

甚至,??????-?-??????可将生成的图像,转换成完整的草图,还能为下一步的绘画提供建议。

那么,它具体是如何工作的呢?

草图,还能再编辑


现有的草图控制图像生成方法包括ControlNet、Sketch-Guided Diffusion,以及DiffSketching。

虽然现有的草图到图像方法有着很大优势,但它们有一个关键缺陷:被训练来处理完成的草图。

然而,典型的草图工作流程是一个迭代的进行中的工作!

艺术家逐步添加或删除线条,有时在深入到更精细的细节之前构建基本结构,有时在移动到另一个区域之前专注于图像的一个区域。

因此,我们需要在草图绘制过程的阶段,实现草图到图像的功能。

在Sketch-a-Sketch中,研究人员引入了一个ControlNet模型,该模型生成以部分草图为条件的图像。

有了ControlNet,Sketch-a-Sketch可以:

1)在草图过程的各个阶段生成与草图相对应的图像

2)利用这些图像生成有助于指导艺术过程的建议草图

斯坦福??????-?-??????,迭代生成草图

问题:现有方法不适用于部分草图

以前的研究是在图像和完成草图的配对数据集上训练的。

在尝试根据部分草图生成图像时,这些方法会将草图视为已完成的草图。

因此草图其余部分的空白会被视为一个指标,表明图像不应包含通常与输入草图中的笔画相对应的内容。

例如,给定房子的前几条线,ControlNet无法在绘制线的区域之外生成重要的细节:

斯坦福??????-?-??????,迭代生成草图

斯坦福??????-?-??????,迭代生成草图

在这些草图中,与线条相对应的特征出现在生成的图像中:支撑屋顶的柱子、栏杆的顶部、门廊的底部等。

然而,在草图仅包含空白的区域,也存在大量主要的图像特征。

训练数据:通过随机删除线条制作部分草图

Photo-Sketch 是现有的最大数据集,其中包含文本描述图像,与部分完成阶段的草图配对的数据集。

然而,该数据集存在以下不足:

1)仅限于 1000 张图片的草图;

2)所有图片均为室外场景(缺乏多样性,无法生成一般的文本条件);

3)通过对现有图片进行描摹来构建(强加了笔画顺序,可能与许多艺术家的画图过程不符)。

因此,我们以编程方式构建了自己的数据集,其中包含与部分草图配对的带描述图像。

斯坦福研究人员的方法是:1)使用HED将图像转换为光栅化边缘图;2)将边缘图矢量化为笔画集合;3)随机删除部分笔画。

通过以任意顺序删除笔画,我们还能以任意顺序绘制的笔画为条件生成图像,从而适应各种草图风格。

斯坦福??????-?-??????,迭代生成草图

研究人员使用来自LAION Art的45000张图片构建了配对数据集,并对ControlNet模型进行了训练,以便在图片-草图配对上调节Stable Diffusion 1.5。

训练好的模型将文字说明和部分草图作为输入,并输出与可能完成的草图相对应的生成图像。

需要注意的是,通过对许多不同完整程度的随机部分草图进行训练,模型学会了将任何完整程度的草图转换成最终图像。

这就意味着,模型并不假定你绘制线条的顺序。

你可以按照任何顺序绘制线条,??????-?-??????仍会根据草图的当前状态生成图像。

生成你想要的图像


当艺术家不太确定他们想如何绘制图像的一部分时,可以根据绘制的线条生成各种图像完成。

比如,不太确定他们想如何绘制杯子的把手,所以??????-?-??????生成了3张图像:

斯坦福??????-?-??????,迭代生成草图

有了这些生成的图像,Sketch-a-Sketch可以为潜在的绘制线条提供建议。

通过在生成的图像上运行HED,来生成现有绘图的潜在补全,然后就可以获得建议线条的图像:

斯坦福??????-?-??????,迭代生成草图

风格可控


图像说明和底层扩散骨架会对图像可视化和建议线条产生重大影响。

与其他文本控制扩散应用一样,??????-?-??????可以通过提示来修改生成图像的风格或内容。

在下面的图中,可以通过更改一个单词来控制一辆跑车的可视化风格:

提示:跑车,逼真

斯坦福??????-?-??????,迭代生成草图

提示:跑车,卡通

斯坦福??????-?-??????,迭代生成草图

提示:跑车,阴影

斯坦福??????-?-??????,迭代生成草图

提示:跑车,生锈

斯坦福??????-?-??????,迭代生成草图

之前已经看到过,在一个骨干网(Stable Diffusion 1.5)上训练过的ControlNet在该骨干网的微调版本上仍然有效。

这一特性同样适用于部分草图ControlNet模型,使Sketch-a-Sketch能够从针对特定领域进行微调的模型中生成建议。

例如,我们可以使用吉卜力扩散生成吉卜力风格的角色:

斯坦福??????-?-??????,迭代生成草图

作者介绍


Vishnu Sarukkai

Vishnu Sarukkai是斯坦福大学的博士生,导师是Chris Ré和Kayvon Fatahalian。他曾在斯坦福大学获得了计算机学士学位。

他的研究兴趣包括机器学习和计算机图形学,最近的研究主要集中在可控扩散模型上。

Christopher Ré

斯坦福人工智能实验室(SAIL)、基础模型研究中心(CRFM)和机器学习小组(生物)的副教授。

斯坦福??????-?-??????,迭代生成草图

Kayvon Fatahalian

Kayvon Fatahalian的团队创建了支持高级计算机图形和视频理解应用程序的计算系统(通常是高性能和并行的)。最近的研究工作包括,用于「AI训练」的虚拟环境的高性能模拟。

斯坦福??????-?-??????,迭代生成草图

参考资料:
https://twitter.com/VSarukkai/status/1691513593358086144 

关注公众号【机器学习与AI生成创作】,更多精彩等你来读

卧剿,6万字!30个方向130篇!CVPR 2023 最全 AIGC 论文!一口气读完

深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet,一种可控生成的AIGC绘画生成算法! 

经典GAN不得不读:StyleGAN

斯坦福??????-?-??????,迭代生成草图 戳我,查看GAN的系列专辑~!
一杯奶茶,成为AIGC+CV视觉的前沿弄潮儿!
最新最全100篇汇总!生成扩散模型Diffusion Models
ECCV2022 | 生成对抗网络GAN部分论文汇总
CVPR 2022 | 25+方向、最新50篇GAN论文
 ICCV 2021 | 35个主题GAN论文汇总
超110篇!CVPR 2021最全GAN论文梳理
超100篇!CVPR 2020最全GAN论文梳理

拆解组新的GAN:解耦表征MixNMatch

StarGAN第2版:多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云:独学而无友,则孤陋而寡闻

点击一杯奶茶,成为AIGC+CV视觉的前沿弄潮儿!,加入 AI生成创作与计算机视觉 知识星球!

© 版权声明

相关文章

暂无评论

暂无评论...