我用GPT (我用gpt编写maya脚本)

文章编号:46382 资讯动态 2024-12-10 宠物精灵GPT2

听到这段台词,相信很多朋友都会不由自主地接上一句.......

我们是穿梭在银河的火箭队!白洞!白色的明天在等着我们!

就这样~喵~

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

没错,它就是《神奇宝贝》中火箭队每次出场都让人忍不住发笑的经典台词。

1997年上映的《神奇宝贝》已经陪伴了我们二十年之久,给不少80、90后的童年留下了美好的回忆,尤其是那800多只宠物小精灵。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

会放电的皮卡丘、经常酣睡的妙蛙种子、不好惹的小火龙,还有喵喵、超梦、可达鸭。

这些可可爱爱又奇奇怪怪的动漫小精灵让人记忆犹新,相信很多人小时候都幻想过拥有一支属于自己的精灵宝贝。

最近,一位名为MatThew Rayfield的程序员就满足了自己的愿望。他用《神奇宝贝》中的788只动漫形象作为原型,通过AI生成了3000个全新的宠物小精灵。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

而这个AI正是自然语言模型GPT-2.

GPT-2:「精灵制造机」

提到NLP模型,我们印象最深的可能是GPT-3。今年该模型因1750亿超大参数量和超强应用,在各大媒体平台频频刷屏。GPT-2,与GPT-3师出同门,都是OpenAI研发的自然语言处理模型,两个模型最大的不同是它的参数量,GPT-2仅为15亿。

但这并不影响它的应用范围。与GPT-3类似,GPT-2也可以用来写故事、画图表,或者玩国际象棋。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

最近Rayfield受到GPT-2在国际象棋和民间音乐上应用的启发,也想来搞点不一样的事情。

他突发奇想决定用GPT-2来生成全新的宠物精灵形象,结果效果还不错。Rayfield从3000个生成图像中挑选出了6个,如图:

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

emm...看起来,小精灵原型还不错,但就是清晰度太差。Rayfield又邀请了业内知名动漫设计师雷切尔•布里格斯(Rachel Briggs)来帮他完成这些精灵的“重绘”工作。

最终,基于GPT-2生成的原型,这些宠物小精灵就变成了这样:

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

感觉第二个和第六个可以直接成为《神奇宝贝》的一员了,你觉得呢?

Rayfield简单介绍了他利用GPT-2创建这些精灵的实现过程。大致就是:搜寻了788张小精灵图片(均为64x64像素)作为数据源,然后:

在这个过程中也出现了一些问题。比如在文本格式转换时,出现了很多嘈杂的像素,因此最终调整成了如下格式。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

不过,用文字训练GPT-2的过程还相对简单,最棘手的环节是通过代码将输出结果变成规范化的图像格式。这部分代码Rayfield已将其在Github开源,感兴趣的朋友可以了解一下。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

Image GPT:语言模型处理图像任务

需要说明的是,上述Rayfield用GPT-2语言模型来学习图像表征的方法,早已被OpenAI验证。

无监督和自监督的学习,或没有人为标记的数据的学习,在自然语言处理领域取得了令人瞩目的成功,因为像BERT、GPT-2、RoBERTa、T5 等 Transformer 模型,在广泛的语言任务中取得了最佳成绩,但同类的模型在图像分类任务中,不能生成较为有用的特征。

出于这一目的,OpenAI尝试利用GPT-2处理图像分类任务,以探究用 Transformer 模型在学习图像表征方面的可行性。

他们发现,当用展开成像素序列——被称为 iGPT(image GPT) 的图像来训练 GPT-2 模型时,模型似乎能够捕捉二维图像特征,并且能够在没有人类提供的数据标注下,自动生成各种逻辑连续的图像样本。实验结果如图:

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

人类提供上半图(第一列),GPT-2自动补全下半图,右侧为原始图像

同时,该模型的特征在多个分类任务的数据集上也取得了不错的成绩,尤其是在 ImageNet 上取得了接近于最优的成绩,如下图。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

在自然语言处理中,依赖于单词预测的无监督学习算法(如 GPT-2 和 BERT)之所以成功,一个可能的原因是下游语言任务的实例出现在训练用的文本中。但相比之下,像素序列并不直接地包含它们所属的图像的标签。

而即使没有明确的监督,图像上的 GPT-2 仍然起作用。OpenAI研究团队认为其原因是足够大的 Transformer 模型,通过训练来预测下一个像素,最终它能够学会根据清晰可识别对象来生成具有多样性的样本。

我用GPT-2创造了3000个宠物小精灵,完美复刻《神奇宝贝》!

他们采用一种通用的无监督学习算法—生成序列建模进行了测试。具体来说,他们在 ImageNet 上分别训练包含 76M、455M 和 1.4B 参数的 iGPT-S、iGPT-M 和 iGPT-L Transformer;还在来自 ImageNet 和互联网的图像的混合数据集上训练 iGPT-XL ——一个 68 亿参数的 Transformer。由于对长序列采用密集注意力(dense attention)的建模计算成本高,他们用 32x32、48x48 和 64x64 的低分辨率进行了训练。

最终实验结果表明,通过计算量来代替二维知识,以及通过从网络中选择的特征,序列 Transformer 可以与最优的卷积网竞争,实现无监督图像分类。此外,通过将 GPT-2 语言模型直接应用于图像生成的结果,也进一步表明由于其简单性和通用性,序列 Transformer 在足够的计算量下,有可能成为学习到不同领域的特征的有效方法。

更多OpenAI团队实验内容可参见论文:

引用链接:

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
新大正物业集团股份有限公司

新大正物业集团股份有限公司成立于1998年,专注于智慧城市公共空间与建筑设施的运营和管理,构建以基础物业为主体,城市服务和创新服务两翼协同发展的三大版图。通过不断深化研究客户需求、作业场景及服务标准,让客户专注于主业,创造服务价值和优质体验,成为公建物业服务专家。新大正是中国物业管理协会名誉副会长单位、重庆市物业管理协会副会长单位、国家级服务业标准化试点单位,于2019年成功在深交所挂牌上市,股票代码002968。

统一社会信用代码查询

全国组织机构统一社会信用代码数据服务中心职能为:会同国家标准化管理部门、登记管理部门制定统一代码国家标准,负责管理统一代码资源,建设和运行维护统一代码数据库,为各部门提供信息服务,加强统一代码赋码后的校核,定期通报赋码和信息回传情况。

日历官网

日历官网(rili.cn)是专业的日历网站,可以在手机、网站之间同步数据。同时还提供各种日历日程信息,包括新闻资讯,工具查询,天气预报,黄道吉日、农历、黄历、星座运程、体育赛程、电视节目等。

台车炉

江苏恒力炉业有限公司是专业设计制造各种工业电炉的专业公司,主要产品有台车炉、箱式炉、井式炉、热处理炉、回火炉等工业电炉产品。

傲蓝珠宝软件

傲蓝珠宝软件|珠宝管理软件|饰品管理软件|首饰管理软件|珠宝批发软件-专注研发珠宝首饰销售管理软件,珠宝首饰商城系统,珠宝移动互联网商城,珠宝手机报表查看等。

普罗米修斯价值加速器

普罗米修斯科技服务(南通)有限公司是一家专注于普罗米修斯价值加速器的技术服务公司。我们的产品是一款独具特色的企业价值加速器,能够帮助企业实现价值增长,提升核心竞争力。欢迎访问我们的官网了解更多产品信息。

|集设屋设计网|设计师论坛|室内设计联盟|室内设计素材网| -  集设屋资源网 -  集设屋设计网!

集设屋设计网分享最新的设计案例、施工图、节点图、CAD图库、CAD教程、3dmax模型、3dmax贴图、ies光域网、Vary材质、3dmax脚本插件、3dmax教程、Su模型、SU教程、草图模、Su模型网站、设计软件下载、是设计师办公首选网站,集设屋资源网

义乌市睿昝贸易商行

水彩大全网(www.glfpw.com)是全网最全的水彩图库,提供最火水彩大师作品大全和美女水彩直播视频,附日本水彩购物网站和创作者水彩图片大全。查看全网最美水彩画师名单大全,发现更多水彩创作灵感!

上海代理记账服务

旌沃咨询是一家专注于上海代理记账和注册公司代理服务的财务公司,我们提供专业的财务解决方案,助您实现财务管理效益最大化。旌沃财务公司具备《代理记账许可证》资质,专注于企业登记代理、财务外包和财税咨询等服务,同时是国家商标总局核验备案的商标注册专业代理单位。

合肥康芯威存储技术有限公司

合肥康芯威存储技术有限公司(以下简称“康芯威”)成立于2018年11月,主营业务为“前沿存储技术开发、方案输出、芯片设计、半导体器件分销”,产品应用于电视、机顶盒、手机、智能汽车、数据中心等领域。

汽车主页

ZOL中关村在线汽车频道为您提供专业的汽车报价、评测、新闻、导购、行情。全面解读汽车领域,同时覆盖新能源,电动车,后服务等汽车用品、车载电子,以及科技改变生活的服务类项目等内容,为您购买汽车提供有价值的参考。

全局底部横幅