打造神奇宝贝新世界 Diffusion 大神微调  无敌了 Stable 生成式 AI (打造神奇宝贝的小说)

文章编号:46021 资讯动态 2024-12-09 AIStable生成式神奇宝贝Diffusion
不再依赖提示库,输入任意文本都可生成。

作为一个强大、公开且足够简单的模型,最近大火的 Stable Diffusion 在文本生成图像之外,给了大家无限的创作可能性。

最近,来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调,构建了一个神奇宝贝生成器!

下图是输入名字后生成的一些神奇宝贝:戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图:

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

除了现有的角色和公共人物,你还可以输入一个描述来生成自己想象的神奇宝贝:骷髅祭司

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

你也可以输入自己的姓名或网名,生成属于自己的神奇宝贝形象。这可太酷了,推特上的网友纷纷用自己的名字展开创作,看看自己如果变成神奇宝贝会是什么样子。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界
图注:网友 Jo Barf Creepy 的神奇宝贝形象
生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

图注:网友 Elizabeth Holmes 的神奇宝贝形象

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

图注:网友 Upbeatblue 的神奇宝贝形象

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

图注:网友 Onion-sama 的神奇宝贝形象

输入一些漫画角色的名字也可以获得相匹配的神奇宝贝:

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

而那些陪伴人们童年的神奇宝贝在这个生成器中也有了新的样貌:皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦幻。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界



神奇宝贝生成器是如何“生成”的

Pinkney 在推特上展示了这个神奇宝贝生成器的训练过程。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

他表示,Stable Diffusion 是一个很好的通用模型,但要获得特定风格的输出不是件容易的事,这通常需要做大量枯燥的工作,制作复杂的文本提示库,或者你也可以偷懒只对图像生成模型进行微调。

Pinkney 在神奇宝贝图像的数据集上对初始的 Stable Diffusion 进行了微调。

首先是构建一个数据集。数据集包含神奇宝贝图像和对应的文本描述,比如妙蛙种子被描述成“一个红眼睛的绿色神奇宝贝图像”,绿毛虫则被描述为“一个长着红鼻子的绿黄两色玩具”。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

当然,这些描述不是人工完成的,而是使用了神经网络来代劳,即图像描述模型 BLIP。虽然这些描述还不是十分完美,但也足够用了。

然后,他在 A6000 上只花费了几个小时对 AI 模型进行训练,让模型学习以神奇宝贝的风格来生成图像,但将先前的知识保留一段时间,最终对数据集产生过拟合。

开始时,样本是正常图像的样子,然后逐渐获得神奇宝贝的风格,随着训练的继续,最终呈现一个与原始提示不同的神奇宝贝图像:

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

这是一种很简单的微调,但它运行得非常好。有了这样一个微调后的模型,无论你给它什么提示,它都会生成神奇宝贝。所以不必再煞费苦心地想提示语了。

在创建神奇宝贝时,你可以选择输出多个

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

Pinkney 表示,欢迎大家用更复杂的方式把这个模型专门地用在新领域。像这样的小工具就是 Stable Diffusion 这类 AI 模型开源好处的体现。




One more thing

这个模型在网上引起创作热潮后,Pinkney 又发布了一篇博客补充了一些额外的工作细节。

他发现,令人惊讶的是,这个模型竟然设法记住了初始 Stable Diffusion 的一些通用知识,而它只是在一个有限的数据集上训练了几千步。但是,对神奇宝贝进行微调时,模型实际上很快就会开始过度拟合,如果只是以一种简单的方式从中采样,模型就会为新的提示生成胡言乱语式的神奇宝贝,也就是说,它已经灾难性地遗忘了它所训练的原始数据)。但是 Stable Diffusion 在训练期间保持模型的指数移动平均 (EMA) 版本,通常用于推理。

因此,如果使用 EMA 权重,我们实际上是在使用原始模型和微调模型的平均值。事实证明,这对于生成神奇宝贝而言是必不可少的。此外,你还可以通过直接将新模型与初始模型的权重进行平均来微调效果,以控制生成神奇宝贝的数量。微调和对模型进行平均的操作可以将原始内容与微调后的风格有效混合。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

图注:左边是完全微调的模型,右边是只微调注意力层的模型。

另外,你也可以冻结模型的不同部分来进行微调,比如上图是两种微调方式的生成效果,可以看到,只微调了注意力层的模型可以生成更正常的 Yoda,但并不太擅长制作神奇宝贝。

更多内容,点击下方关注:

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界 生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

版权文章,未经授权禁止转载。详情见 转载须知 。

生成式 AI 无敌了: 大神微调Stable Diffusion,打造新世界

全局中部横幅
阿里云盘

阿里云盘是一款速度快、不打扰、够安全、易于分享的个人网盘,欢迎你来体验。

pc6下载站

pc6下载提供官方软件下载,包括各类PC软件,单机游戏,手机游戏,手机软件,APP应用,涵盖安全绿色软件及技术文章,是电脑手机爱好者的软件官方下载场所,pc6下载站全力打造中国安全软件游戏下载基地。

首页

北京大学口腔医学院(口腔医院),简称“北大口腔”,始建于1941年。前身是国立北京大学医学院附属医院的齿科诊疗室。伴随着八十年的发展历程,如今的北大口腔已发展成为一所集医疗、教学、科研、预防、保健为一体全面发展的大型口腔医学院、口腔医院、口腔医学研究所。 作为国家卫生健康委委管的三级甲等口腔专科医院,医院始终贯彻党的卫生健康工作方针,秉承“厚德尚学精医济世”的院训精神,以培养卓越口腔医学人才、护佑人民群众口腔健康、服务国家口腔医学事业发展为己任,在医疗技术与服务提升、人才培养与队伍建设、科技创新与成果转化、科学化精细化管理、基层院校帮扶与国际国内合作、党建引领与医院文化建设等方面发挥“国家队”的示范作用。

硬件

网址导航――RC0991.COM是最实用的上网导航网站,是方便网民上网的入口平台,及时收录包括网络电视、电景、音乐、视频、小说、游戏等热门分类的优秀网站,与搜索完美结合,提供最简单便捷的网上导航服务,是数千万网民的上网主页。

空水冷

空水冷却装置-连云港市华东电力设备有限公司是专业生产经营电力、化工行业的高效节能设备厂家,和国内多家科研机构常年保持合作关系。先后成功地开发了空水冷系统,冷油器装置等.

广州广杰网络科技有限公司

ChansonMetalsCo.,LimitedisoneoftheleadingmanufacturerinChina,specializingstainlesssteel,nickelalloyandotheralloymaterial,theproductscoverssheet&coil,tube&pipefittings,bar&profiles,wire&wirerope,fastener.

视品广告

视品影视为客户提供全面视频传播服务,使优秀的创意能够在众多媒介平台上展现的综合型广告传播机构;我们以精准的消费者洞察,策略思考,创意表现及整合传播的能力,在新媒体时代为我们的客户创造更为突出的商业价值和社会影响力;视品影视只做让市场满意的价值影像。

星魔力软件站

星魔力软件站是一个专注为年轻人打造免费软件和手游下载的综合性资源网站,本站所有上传的软件均已经过检查,不仅绿色无病毒,而且下载速度贼快,还提供热门的手游资讯和专题,每天更新用户真实需求的软件,是您忠诚的手机管家。

易企营销

易企秀-免费H5页面制作工具-微信H5页面,微信朋友圈会议邀请函,电子贺卡,动态音乐相册,电子微杂志,节日贺卡等,易企秀提供海量H5微场景模板,轻松制作一键生成H5页面,为您助力移动自营销,酷炫展示H5企业自营销页面-易企秀官网

防爆显示器

安徽璟安防爆电气有限公司是一家专业生产、研发、销售防爆配电箱.防爆显示器.防爆LED文本显示屏.防爆触摸屏.防爆广告机.防爆电脑.防爆计算机.防爆工控机.防爆分析小屋.防爆正压柜.防爆空调.防爆电机.防爆对讲机.防爆智能手机的一体化专业厂家。安徽璟安防爆电气有限公司专业从事防爆电气行业数十年,已人为本,服务至上,专业的售后服务为客户提供便捷服务!24时在线客服支持询价!

知识星宿

知识星宿是一个专注于字典、词典、成语、英语、诗词名句的网站,汇聚了千年传世之美。在这里,您可以尽情沉浸于中国古代文化的瑰宝中,感受文字的力量和艺术的魅力。无论您是诗词爱好者、文化追寻者还是创作灵感的寻觅者,知识星宿都将为您提供无尽的诗意和灵感。立即点击,探索古人智慧的结晶!

全国DNS服务器IP地址大全

专业提供公共DNS服务器ip,中国电信、联通、移动DNS服务器大全。

全局底部横幅