未分类

卷起来了!我居然找到了免费的满血在线原生Stable diffusion(附超火的光影文字教程)

最近又有新的controlnet有趣的玩法出现了(我说的就是那个光影文字),每次这个时候都会遇到用stable diffusion出问题的朋友,这篇文章是个迭代版的网页 stable diffusion 的使用指南。
主要面向那些因为各种原因没法用本地版本的同学们。得益于最近AI绘画产品白热化的竞争,除了购买云服务的算力资源,已经开始有一些产品可以直接使用了stable diffusion了,然后最夸张的是居然开始有免费的全功能在线版本的Stable diffusion。

现给对SD没有概念的同学整体说一下现在市面上不同的使用途径。(心急的同学可以直接看后面的案例)


    几种使用stable diffusion的途径

1、本地部署SD

需要比较好的配置,需要显卡。笔记本基本不太行,至少是台式机。但是这就意味着不便携。我一度很想花2~3w去配一台机子,但是因为要经常出门,所以一直觉得很麻烦。


2、在线原生云服务

从最开始的google colab,到现在很多国内的云服务商。其实都在推出stable diffusion相关的服务。也都提供了相对便捷的服务。但是这些算力资源基本都还是要付费的。一块3090的显卡,大概一小时2块钱左右。


3、SD相关的产品

其实国内已经有很多很多基于SD的AI绘画产品了,也有很多做的很专业很好,但是这些产品为了更适合大众都做了一些删减和普世化的修改。所以对于相对专业的AI绘画玩家来说反而有些不够用。

我的朋友想要一个什么样的SD工具呢?专业功能齐全,使用起来方便不受地点和平台限制,然后最好还免费。我一开始其实觉得这种要求几乎是不可能实现的,但是最近忽然发现一个网站推出了完整版的stable diffusion,然后它居然还是免费的。


    liblibai的SD功能

官网:https://www.liblibai.com/sd

它其实是一个国内的模型平台,最近推出了自己的在线sd绘画工具,基本上就是完整版的sd,不过因为它们本身还是一个模型平台,所以针对模型做了很多优化。主要有下面几个点我比较喜欢的。


1、模型库丰富并且调用方便。

他们算是做炼丹比较早的网站了,据说有上万的模型,也聚集了很多炼丹师在上面。并且在SD的页面对模型的调用进行了可视化的设计。


2、支持分享模型和图片信息

可以上传分享自己训练的模型,这是一个开放的模型分享平台。可以看到自己训练的模型被不同的人演绎并返回图片。并且有一个图片库可以看到图片的生成信息,liblib上的图片有两种,一种是整合的图片库,另外一种就是基于不同模型下面的返图。这一步非常重要,因为高质量的图片需要很多细节的参数设置,需要混合不同的模型,大家可以通过图片的生成信息不断的学习好的作品生成技巧。


3、模型,图片,工具三位一体。

大部分的人很喜欢midjourney是因为在mj上大家生成图片的信息都是开源共享的,可以快速的互相学习,而用户的喜好反馈到产品也促使mj的模型越来越好。但是SD是一个开源的工具,尤其是本地的 sd 本质上是非常封闭的。虽然有各种各样零散的平台,但是之前并没有一个把模型,工具,图片全部整合的产品。大家需要在不同的工具间来回切换,但是liblib似乎在做一个集合模型,在线生成工具,和图片分享的事情。


    几个超火的应用案例

我用他们的工具测试了几个目前比较流行的sd的应用案例。部分用到了controlnet,可以用上完整版的controlnet这点也是比较惊喜的地方,不过最惊喜的是居然发现上面有最新的光影文字的controlnet模型。因为这个模型非常小众,大部分需要自己下载安装才能使用,这应该是目前唯一一家可以在线使用的AI绘画工具。


光影字体摄影

这次的光影字体其实主要用到一个叫 Lighting based picture control controlnet 的controlnet模型,这个模型是 ciaochaos 训练的,原理其实就是通过controlnet控制画面的明暗关系。这个其实非常的巧妙,因为这样的方式制作出来的图大家看小图的时候可以清晰的看到文字。但是一旦图像放大,就会被画面里的具体的人物吸引,而无法识别出文字。就好像文字忽然间消失了一样。

ciaochaos的这个controlnet模型可以在网站上找到:https://www.liblibai.com/modelinfo/7e49f6e51b0d473c809ed6aed1771b9d

风格的大模型其实并没有什么限制,我这里使用的是 majicMIX cyborg 麦橘机甲 :https://www.liblibai.com/modelinfo/5150c4702d0e7b10f8c0a3aea3a81198

在开始之前,需要准备一个带点高斯模糊的黑底白字的图片,如果你希望看到的文字是亮的部分那么文字一定要是白色,高斯模糊可以用Photoshop也可以用其他软件来做。

然后把制作好的文字图片上传到 controlnet。

需要注意的是,这里的 controlnet 预处理器选 none,然后模型部分需要选 illumination 这个就是刚才说的  Lighting based picture control 模型。

剩下的就是提示词和一些其它参数,大家可以参考一下,另外别忘了点面部修复和高清分辨率修复。

最后的效果如下:


生成B端3D图标

这个模型是朋友忠忠做的,UI设计有很大一部分工作就是画icon,但是过去这种3D质感的icon需要用blender或者c4d这样的3d软件来制作,花费时间相对比较长,但是现在这种类型的图标也可以通过训练模型的方式来实现了。

模型地址:https://www.liblibai.com/modelinfo/cada4f7a869c48f599fb3b3b3e4d35fc

制作过程:

1、在模型页面点击加入模型库。

2、因为这个模型是Checkpoint模型,所以我们打开在线stable diffusion。在上方的stable diffusion 模型(checkpoint)列表里就可以找到刚才加入的模型。

3、设置提示词和其它参数。

下面是我用到的提示词和参数,这个案例比较简单,直接选择单一模型即可。大家遇到不知道怎么写提示词的时候也可以在模型的返图区找灵感。

模型和参数都设置好之后就得到了下面这张icon图。

如何将线稿变成手办

线稿3D化这个应用面还挺广的,很多设计师制作IP的过程都需要建模,但是现在使用SD可以快速的将IP的草稿变成立体模型,这里我举两个案例给大家参考。

1、首先需要准备一张线稿,这个可以自己画也可以用AI生成的图,我为了快速通过mj生成了一个汉服女孩的线稿。

这张图的prompt是:

full body,Black and white line drawing illustration of a cute chinese little girl IP character, black line sketch, popular toys, blind box toys.Disney style, ((white background)

2、打开SD在线版,设置模型。

大模型用的是:revAnimated

https://www.liblibai.com/modelinfo/19dc35d37d10bdcf9e952eba82f03de6

lora模型:blindbox/大概是盲盒

https://www.liblibai.com/modelinfo/4c5eb179d4705198d866e22ca0833ef3

3、设置提示词和其它信息

这个步骤关键是在提示词里写上 IP角色,盲盒一类的词。需要干净的手办效果还别忘了加 白色背景 white background。

4、设置controlnet
这里的预处理模型和模型都选择lineart,另外千万别忘了点启用。

最后的生成效果如下。

这是另一个3D插画的案例,不过过程跟上面的几乎一致。这里也分享一下相关的提示词和参数。

超级符号延展

像品牌logo和一些超级符号也可以通过SD来做延展,在过去用超级符号做可视化的演绎十分的麻烦,但是现在我们只需要用SD的controlnet就可以办到,这里我用了白羊座的符号做了下面的案例。

下面简单的说一下制作的过程,其实跟上面的手办案例类似,也是用到了lineart的controlnet模型,不过为了效果更好,我还叠了一个depth的controlnet。

Prompt:

((best quality)),((masterpiece)),((detailed)),((aerial)),Island,Surrounded by the sea,Building,tree,Minimalist Design,super detail,photography,16k,HDR,((best quality)),((masterpiece)),((detailed)),((aerial)),Island,Surrounded by the sea,Building,tree,Minimalist Design,super detail,photography,16k,HDR,

Negative prompt:

EasyNegative,paintings,sketches,(worst quality:2),(low quality:2),((monochrome)),Negative Embedding for Realistic Vision v2.0_v1.0

下面是一些其他的参数设置,这里的模型我用的就是原始的SD模型,叠加了一个真实摄影效果的Embedding 模型 Realistic Vision v2.0_v1.0

这个模型的链接如下:https://www.liblibai.com/modelinfo/374ba93d35b054899e4589d270d2947e

    几个建议

目前liblibai的工具已经可以基本满足一些需要SD的图片制作的需求,不过产品还有可以继续优化的地方。当然目前这个还是个初代的版本,下面的也许未来也会被官方安排上。

1、模型训练的功能。

作为一个以模型为主的网站,还是希望能一站式的训练模型。不过模型的训练需要消耗大量的算力资源,这部分适当的收费其实也没关系,当然如果能够免费是最好的。


2、更丰富的插件。

主流的几个SD功能网站上都有了,但是还有一些相对细分的插件还不支持,类似像图片提取提示词这种就还没有,希望插件系统能够更加的完整。

最后,虽然国外的开源社区在不断的出新的创意,但是在AIGC产品化这点我其实更看好国内的产品,因为国内庞大的用户,大量的用户和大量的产品迭代,必将会涌现一个更好用的产品。

jovi

AiCC : AI Creative Commons AI 设计,关注 AiCC 知识共创! AiCC.pro

发表回复

相似文章

Back to top button