Midjourney新功能inpainting抢先看
昨天nijijourney在公告上发布了即将发布的inpainting功能的介绍和预览,今天早上的midjourney的周会上也提到了这个功能即将在本周发布。
inpainting这个功能最早是在一年前dalle2首先发布的,一年了现在PS和SD也都已经配置了这个功能,早先我在MJ发布outpainting的时候总结过这几个工具的不同点,感兴趣的可以去看看:AI扩图哪家强?midjourney,Photoshop,dalle2,stable diffusion 大比拼
有一说一MJ挺好用的,但是对于AI新功能的迭代上真的让我想起了那个古老的浏览器的梗图,没忍住做了张AI绘画工具的版本。
Midjourney的inpainting珊珊来迟,按理说它们目前只用自己的模型,不支持第三方上传图片,应该更容易才对,但是今天的周会上MJ表示这个功能还不够完美。
MJ之前一直在坚定普适性的AI绘画工具,所以对增加功能一直很克制,但是最近也熬不住了,现在MJ就只差controlnet了,SD最近也发布了效果不输于MJ的通用大模型。AI绘画的比赛已经进入到了下半场。
接下来我会附上niji发布的inpainting的介绍文章和今天早上MJ的会议纪要。
什么是 Inpainting?
根据我们选择的区域,我们可以以不同的方式修复结果。
创意修复
修复并不仅限于纠正错误。我们可以要求 niji 添加额外的元素,比如他最好的朋友。
或者替换背景
修复多角色场景
利用 niji 制作的空教室作为背景,我们可以对角色进行修复绘制。
加上一个被转生的公主怎么样?
一个必不可少的运动服主角?
还有一个伪装成普通人的龙呢?
Inpainting 提供了一个很好的方式,可以将多个角色带入复杂的场景中。
或者,您还可以将其用于将复杂的场景变为空旷的场景:
–no humans, 真的没有人类!
修复绘制您的完美镜头
您可以使用它为您的故事设计完美的时刻。
不再将失败的区域隐藏在文字气泡后面!不再在关键镜头上妥协!讲故事的人,这就是您一直在等待的功能!
视觉控制范式
生成式人工智能行业仍处于起步阶段。从文本到图像是一个入口接口:它让许多从未接触过图像编辑器的人将他们的想法变成了美丽的图像。
随着领域的成熟和用户在操作图像方面变得更加熟练,他们将希望对画布拥有更多控制权。虽然文本是最容易操作的界面,但它并不提供这些控制。
随着平移、缩放和即将推出的修复绘制功能的引入,我们正在探索在一个更具视觉感知的空间中操作生成的新方式。我对我们正在开发的新功能感到非常兴奋!
MJ的817会议纪要
-
数据库基础设施问题
数据库因生成的图像数量过多而不堪重负
本周因基础设施扩展不良而导致停机
上周的一些图像在数据库中暂时丢失
正在努力增加基础设施投资,以改善性能并防止停机(这个真的很想吐槽,官网每次搜索都卡的不行。一年了也没啥改善) -
独立的 Web 和移动工作
专注于使核心图像生成体验更加流畅和快速
这比大多数用户的高级功能更为重要
对于拥有许多图像的用户仍存在加载速度方面的挑战
目标是在 Web 和移动平台上实现即时加载和搜索 -
可能的 5.3 版本考虑在本周发布inpainting功能,尽管结果并不总是完美
候选方案包括改进美观度和文本理解
如果包含了新的美学特性,可能称为 v5.3 – 否则只是带有修复功能的 v5.2
对于美学更新是否是一种改进仍存在矛盾 -
第六版时间表
V6 版本进度落后
尝试通过雄心勃勃的实验来实现较大的跃升
将在1-2周内决定是推动大的V6还是发布较小的保守更新
最重要的是提高提示理解能力 -
当前的研究方法
同时进行7-10个创意性构想
逐渐从成功的创意中构建功能
很难准确预测时间表,因为有些构想成功,而有些失败 -
其他潜在功能
3D 改进正在进行中正在开发一些有趣的视频功能(不会是zoom in 的那种吧) 对未来一年的进展有清晰的认识,但确切的时间尚不确定 -
用户人口差异
美学方面在年龄和性别之间存在较大差异
当前的中间美学偏向于较年长男性的偏好
考虑重新平衡或允许更多的美学多样性
可以允许指定人口统计数据以获得不同的美学反馈循环
但首先希望通过非人口统计的方式获得多样性
将摆脱单一的中心美学偏见 -
特定的美学差异
男性与更高的对比度、鲜明的颜色相关联
女性与较低的对比度、柔和的色调相关联
年龄较大的美学似乎更为颓废和破旧
年轻人的美学更加干净和简约
人们倾向于偏好与自己人口统计数据相似的角色
将推动用户之间更多的多样性和平衡