AI 主要通过深度学习算法和特定的模型结构来识别并修复老照片中的细节,具体过程如下:
图像预处理:首先,AI 会使用专门的深度学习编码器对老照片进行预处理。科研人员通过人为制造各种图像瑕疵的方式,构建了大量 “瑕疵 — 完好” 的图像对来训练这个编码器,使其能够识别并去除老照片中的噪点、划痕、模糊等瑕疵,保留图像的真实信息。
细节识别与理解:在去除瑕疵后,AI 会利用多模态大模型来 “看懂” 图像内容,理解图像中的物体、人物、场景等元素,并输出相应的文字描述。这些文字描述会作为文生图大模型的 “创作指南”,帮助文生图大模型精准理解图像,为后续的细节修复提供基础。
细节生成与修复:文生图大模型根据多模态大模型提供的文字描述以及预处理后的图像,利用扩散生成模型技术等生成丰富的细节。例如,对于老照片中缺失的毛发、皮肤纹理等细节,文生图大模型可以根据整体图像的风格和内容进行合理的补充和修复。
对抗生成训练优化:为了使修复后的图像更加自然真实,AI 会采用对抗生成训练的方法。让文生图大模型作为 “生成器”,负责生成修复后的图像,同时选择一个图像分类网络作为 “判别器”,专门判断生成的图像是否自然真实。通过生成器和判别器的不断对抗训练,生成器生成的图像会越来越逼真,细节也会更加丰富和准确。
特定模型与技术的应用:一些专门的 AI 修复工具还会使用特定的模型和技术来修复老照片的细节。例如,Topaz Photo AI 的面部恢复功能利用 AI 分析面部特征,能为模糊的人脸提供显著的细节增强;其 AI 填充功能可以基于深度学习算法,根据数百万张相似图像的细节,准确预测缺失部分的内容并进行智能填充。