秦皇陵的兵马俑大叔到底长啥样?100年前的北京街头有怎样一番热闹?老上海的名媛们是如何说话的?当AI技术变身时光机,人们透过修复的影像与古人相遇,在纷繁复杂的现代社会中,或许能到达一个“5分钟的彼岸”。
复原近百年前上海时装秀
近日,一段近百年前的上海时装秀在网络上十分吸睛,这段珍贵的历史影像被AI修复上色后,呈现在大众眼前,一下子拉近了时空距离。视频中的模特来自当时上海的名门望族,是名副其实的金枝玉叶。比如其中有中华民国首任内阁总理唐绍仪的八女儿唐宝玫,外交官施肇基的侄女施惠珍,还有生于商贾之家的萧宝莲,她也是上海音乐厅设计师范文照的夫人。三位女士现场讲解了当时上海的流行趋势,尤其是主持人一口流利的英文,更令人赞叹。
这段影像的修复者是旅居纽约的独立艺术家、游戏开发者、微博博主大谷Spitzer。大谷告诉记者,之前上海老影片中女性角色比较少,很多网友提出能不能看看当年女性的状态。他就找到了这样一段影像进行AI修复,大约用了7天的时间。原始影片是由两段黑白的片段组成的,有大量的重复镜头和NG镜头,没有进行剪辑。大谷笑言,这次他还完成了100年前的剪辑工作。
不仅剪辑重复镜头花费时间,上色也并不容易。大谷说,最初AI修复老影像时,基本是人工智能上成什么样就是什么样,他一度参与较少,所以最后色彩的准确性可能与历史有偏差。而现在他可以通过查阅一些历史资料,提供他的上色版的关键帧,让人工智能进行参考,来生成相应的内容。
“这次的上色我试着用了一些更大胆更激进的颜色,当时清代结束没有多久,时装秀是非常前卫新锐的一个行为,超级酷。”大谷说,他很喜欢影像中的很多服装,如天鹅绒长裙等都很漂亮。
极臻三维设计CEO王蕾是影像中萧宝莲的后人。王蕾曾表示,当她看到黑白的影像被AI修复成彩色的,感到很新奇,过去的场景一下子有了现在日常生活中的样子。“姨奶奶在视频上说‘我的头发是卷的’,一听就是家里人说话的那个感觉。看到姨奶奶当时的音容笑貌我很有感触,那个年代她想参与或推进一个时装表演,是非常前沿也非常需要勇气的,很令人佩服。”
老北京街头上色后“活”起来
大谷最开始学习人工智能的目的,是想通过这些技术提升游戏开发和作曲流程的工作效率。后来经过了解,他发现人工智能技术不光可以应用于游戏领域,在艺术创作甚至社会公益角度都有着更加广泛的应用。
大谷的家乡在北京,身在美国纽约的他在疫情期间无法回国,为了一解思乡之情,他便尝试用AI修复了百年前的一段老北京影像,这段视频使他第一次进入全国观众的视野。
这段影像源自人民日报四年前发布的资料影片,是由一位加拿大摄影师拍摄的。只见影片中,展现的是百年前人们的日常景象,赶集买货、上庙里烧香、大户人家子弟在自家门口遇到熟人作揖寒暄……一切令人既熟悉又陌生。
大谷在修复视频的过程中,使用了一系列不同的人工智能开源项目来完成最后的输出,其中DAIN绘制补帧,ESRGAN提升分辨率,DeOldify进行上色。大谷坦言,像DeOldify这样的上色人工智能目前仍然有很多不足的地方,最主要的问题就是颜色的历史精确性很难保证,同时片源的质量也对修复影响很大,就算是修复后使用ESRGAN进行分辨率倍增,也只是做到保留低分辨率视频里已有的细节,而无法还原已经丢失的细节,比如过度模糊的人脸。此外,在颜色修复上,目前的DeOldify即使是使用三个预训练模型中最稳定的Video model,颜色抖动程度仍然很大,饱和度偏低,还远没法达到艺术家手工胶片上色的精准。“我始终相信,人工智能是不会彻底取代人类的,而是能够解放人类的双手,让每个人有更多的时间和精力去从事创造与探索相关的工作。”
大谷发现,老旧的影像因为拍摄年代和技术所限,许多有趣的细节被掩埋在了快速播放的黑白默片的厚重之下。通过AI修复之后,影片的时间流速和颜色恢复正常,很惊讶地看到了很多很多不曾注意到的人物的情感与思绪,“原片里一闪而过的路人原来在树缝后面偷看着摄像机,那个女孩看到镜头会打开扇子掩面而笑……”百年前的人们在修复后的影片中活灵活现起来。
这段用AI修复的100年前老北京影像视频被央视新闻、人民日报、光明日报等媒体点赞转发,全网超1000万网友热议。
“视频发布前我预料到大家会有一些共鸣,但没想到会有这么大的反响。现在回想起来,正是这种修复的形式奇妙地拉近了时代的距离,孕育出一种特别的人文关怀。”大谷说,百年前的影像如同一段Vlog记录着仿佛触手可及的生活,影片中上色后的古人不再只是冷冰冰的历史教学素材,而是变成了让观众产生同理心的老乡、朋友、邻居。这种时空错位的亲切体验确实有它独特的地方,尤其影片中诸多对视的画面,有时甚至有着跨越文化隔阂、时空距离,而直抵人心、直视灵魂的力量。“看到视频弹幕评论里很多中外朋友也有和我一样的共鸣,网友们开心地和影片中的古人问好,也在好奇这些古人的举手投足,为其一颦一笑而感慨,甚至为他们的逝去而感伤。”
AI修复“疑似”泺源门引网友考古
2020年6月,大谷将一段老影像修复后,发布上网并请网友查找拍摄地。
这段视频是加南大国家图书馆暨档案馆收藏的阿尔伯特·卡恩于1912年前拍摄的影像,但拍摄地一直不详。阿尔伯特·卡恩游览过北京、山东、内蒙古等地,曾拍下最早记录中国的彩色照片、视频。一时间,全网开始了一段火热的“考古接力”。有的网友说是北京的正阳门,还有的说门匾上的三个字是南京的清凉门。令大谷没想到的是,短短两三天的时间,网友们就把地点锁定在了济南的泺源门。
6月4日,网友“东方-观察者”以“仁丹”店的标示为线索,将历史范围缩小到1905-1912年之间。紧接着另一位网友通过不同时期照片和历史资料对比核实,将拍摄地点判断为济南泺源门。
大谷说,济南惨案后,从济南瓮城的航拍图上,也能清晰看到“仁丹”的广告,旁边也有视频中出现的类似庙宇,里面出现的人物衣着、相貌都比较像山东人。视频中出现了城门内外络绎不绝的景象,行人、手推车川流不息,还有人落担摆摊。这段视频将人们重新带回那个生动鲜活的历史现场,满足了我们对百年前济南生活的想象。此外,视频中还出现了一些如今很难见到的生活细节,比如用泥巴修补屋顶、孩童跟着大人在田地里种庄稼等。
大谷在泺源门的修复视频中,特别加强了对视的画面,选取了个更多近景人物的特写。在视频原片末尾有一个所有路人都回头四顾的镜头,他配合这个画面加入了两声些许空灵的呐喊。在大谷看来,这声呐喊有多层寓意,首先象征新时代马上就要到来,一种觉醒前的呐喊。此外还代表古人对现代观众的回复,友好地打声招呼。“第三层寓意,说不定未来的人们也会在看现在的我们,这声招呼同时也是他们对我们说的。这即是我对这种特殊的‘对视’感受的再解读。”
让消失的建筑再现昨日风采
大谷谈到,以前他在观看黑白影像时,很多时候是把它们作为一段历史资料来看,没有留下特别深刻的印象,而经过上色之后发现每个人物都更加鲜活,也让他意识到影片里出现的人们都曾经生活在这片土地上,让他感觉到一种跨越时空的对话。在他看来,在纷繁复杂的现代社会里,如果有那么5分钟穿越回过去,静静地看着前人来来往往,生活劳作,好奇他们的所思所想,以古鉴今,这种感受是极为独特的,可以说是“5分钟的彼岸”。
这“5分钟的彼岸”或许就是大谷不断进行AI“复古”的动力。他还利用AI让杜甫在线演唱《奇迹再现》、将兵马俑真人还原、为中国电视首播画面上色、用AI上色修复一位普通中国人从晚清开始跨越62年的62张自拍照……
AI技术正为历史文化的展现与传承提供了新的视角与方向。大谷目前正同一位德国朋友合作一个AR的景点项目。德国一座老城市当年因为二战,很多老建筑被炸毁了,但是目前还存有那时候的纪录片。大谷做了上色修复,然后用AR眼镜对实际的景点进行修复。体验者可以戴上AR眼镜,走到实际景点的物理位置,会体验到一个时空门的效果,随即看到影片中历史的场景,这个场景和体验者所在的位置是完全一致的,刚好对应目前留存的一些建筑,实现古今的相遇。体验者既能看到现代的人,又能看到历史上这个景点的场景,也能看到那时候路人在这个景点里穿梭。
大谷介绍,人工智能还可以通过收集、学习大量的某一景点历史上的照片,合成一个3D照片,效果非常逼真。如果内部的照片足够多,甚至可以生成一个内部的场景,让游客体验游览,像这种就是一些景点古迹修复的项目。
百度也曾用AI技术重现消失的西南联大。该项目是百度百科博物馆计划发起“未消失的西南联大”AI复原项目,通过利用百度AI技术对旧照片和历史文献进行比对分析、模拟建模,1:1复原出西南联大校址原貌,并通过AI技术直观地呈现了这所传奇大学当年的风貌。同时该项目还配合让人能够“身临其境”的VR技术,生动还原了西南联大当年的一窗一树。