低成本体验生成 AI 小姐姐照片. 前言 | by Croath Liu | Feb, 2023 | Medium
近期 AI 领域被 ChatGPT 又带火起来了,ChatGPT 如此庞大的训练语料和参数数量是一般人难以进行实践的,我一直关注 Stable Diffusion 的发展,同时也知道无论是能力还是财力,我个人其实是不容易做出属于自己的很特别的模型,但是对这方面一直有兴趣,所以即使没有能力做训练(train),也想体验使用其他人模型创造一些内容(inference)。
这里先介绍两个网站,对于有能力探寻更深入的人会有所帮助:
https://huggingface.co/ ,Hugging Face 上有很多数据集可以用来做训练,也可以基于其他人共享的数据集进行训练,比自己找数据要方便很多,也有 auto train 功能,可以使用他们付费的服务进行训练。也可以创建 space 来快速给一个训练好的模型生成 API 接口,方便以服务的形式开放给他人使用或者让自己的其他服务调用。有了这些功能深度学习工程师便可以更专注于深度学习本身,而不用特别关注训练数据的来源或者如何部署机器进行训练、回测以及接口化。
https://civitai.com/ CivitAI 主要是模型分享以及社区,用户会在其他人的模型下面回复通过这个模型生成的样本,以及生成时的参数和 seed,方便我们调试其他人模型时可以参考已有的输出进行快速尝试,不然可能会一直觉得自己生成的不够好。
首先,我选用的基础模型是 https://civitai.com/models/6424/chilloutmix ,这个模型擅长于生成亚洲女性特征的图片。
其次,选择一个自己顺眼的 LORA 训练模型。LoRA(Low-Rank Adaptation of Large Language Models)粗略地讲就是利用少量的图像来对 AI 进行额外学习训练,并在一定程度上控制结果。
流程上也比较简单,就是基于 ChilloutMix 的训练结果和你自己准备的数据集来进行二次训练,目的是最终输出的内容既具有原始 ChilloutMix 的能力,又更倾向你提供的数据的特征。
这里我尝试了三个 LORA 模型:
他们本质上没有区别,但是因为二次训练集的差别,三个模型输出的内容特征分别倾向于:韩国女性、台湾女性、日本女性。当然你也可以生成中国女性、越南女性、二次元女性等等专属的模型,甚至去训练二次元图像或 NSFW 图像。每一种模型都有自己的特长,LoRA 的目的就是各具所长地进行输出而不是一个通用模型。
--- 参见原文