新智元报谈迪士尼彩乐园app下载
裁剪:alan
【新智元导读】AI的飞跃可能会开辟咱们意会古代天下的新按序。念念象一下,淌若ChatGPT不错在「上古卷轴」的文本急流上收受稽察,咱们将有契机径直与历史对话。
2023年10月,一封电子邮件发到了Federica Nicolardi的手机上,其中有一张图片将遥远改动她的洽商。
这是一张纸莎草卷轴的碎屑,此卷轴在公元79年维苏威(Vesuvius)火山喷发时被遗弃——也即是导致庞贝古城被埋于地下的那次可怜。
18世纪,东谈主们提神大利庞贝城隔邻Herculeaneum的一座豪华罗马别墅古迹中发现了数百件卷轴,这本烧焦的卷轴即是其中之一。
几百年来,洽商者们试图剥开卷轴上脆弱的碳化层,探寻里面记载的玄妙,却都莫得凯旋,好多卷轴因此酿成了碎屑。
学者们只好收受这些「上古卷轴」遥远无法大开的事实。
意大利那不勒斯大学(University of Naples)的纸莎厕纸学家Nicolardi曾尝试使用AI来阅读这些难以辨别的内容。
目下最新效果照旧发过来了,AI将翰墨还原为了整皆明晰的希腊字母,——这是一段曩昔2000年来十足无法走访的文本。
从希腊语、拉丁语、到中国的甲骨文(Oracle Bone Script),AI正在准备重塑咱们看待古代天下的花式。
重建古代文本
几十年来,盘算推算机一直被用于对数字化文本进行分类和分析,AI的加入使洽商者有望处理之前无法意会的渊博档案。
于是,普遍新文本得以贯通,比曩昔几个世纪得到的数据还要多。
在2010年代,将深度学习应用于古代文本的早期尝试是基于文本的数码像片(拍摄纸莎厕纸大致棕榈叶的原件)。
这个时期最常用的收罗是CNN,对图像进行光学字符识别(OCR)。
洽商甲骨文的团队使用模子来还原遗残的字母图像、拼集碎屑、以及分析字符若何跟着时期的推移而演变。
与此同期,RNN收罗也进展了我方处理时期序列数据的上风,被用于搜索、翻译和填补已翻译文本的空缺。比如,用RNN来揣测古巴比伦翰墨中数百个公式化的行政和法律文本中缺失的字符。
除了加快繁琐的任务,神经收罗还匡助征战了东谈主类各人无法发现的关系。
2017年,英国牛津大学开展了第一个展示AI后劲的大型样式:破译来自西西里岛的希腊铭文。
这些古翰墨读起来非常复杂,保存得也很倒霉,有一部分缺失还羼杂了方言,洽商者不笃定铭文的具体包摄地以及日历。
曩昔的洽商东谈主员一般期骗我方对近似现存文本的了解来解释新的府上,他们频繁是特定时期和处所作品的各人。
但一个东谈主不能能掌捏与新文本联系的通盘信息,于是AI登场了。
洽商东谈主员在公元前7世纪至公元5世纪之间写成的数万个希腊铭文上稽察了一个RNN模子:Pythia。然后条目模子文本在它以前从未见过的文本上,瞻望缺失的单词或字符。
2022年,他们又使用流行的Transformer稽察了一个名为Ithaca的模子,在之前的基础上加入了瞻望未知文本的日历和发祥处所的智商。
Transformer通过并行分析输入的不同特征(字符或单词)来拿获比RNN更复杂的谈话模式,并把柄凹凸文对其进行加权。
最终,Ithaca以62%的准确率规复了古代文本中东谈主工产生的空缺,比拟之下东谈主类各人的准确率为25%。而Ithaca和各人互助时,瞻望准确率达到了72%。
此外,Ithaca还以71%的准确率笃定了铭文的地舆开头,且日历瞻望也与公认的时期接近。
创建者将Ithaca免费开源后,每周都会收到几百次的走访。迄今箝制,Ithaca作念出孝敬的例子包括重新笃定雅典政事执法的日历,以及对公元前4世纪泥板的窥伺等等。
海量档案
对于古代文件,另一个迥然相异的挑战则是数据量。
比如洽商东谈主员在处理的天下上最大的历史档案之一:包含数十万篇著述,涵盖27位韩国国王的总揽时期(14世纪至20世纪初)。
这些记载是完好的,开头亦然已知的,但险些莫得东谈主能读懂,迪士尼彩乐园为人类2因为它们是用古汉字书写的,不同于当代汉字或韩文。
一个由政府翻译构成的小团队,正在悉力手动将这些文本翻译成当代韩语,但这项任务可能需要几十年才调完成。
来自纽约大学(New York University)的首席机器翻译洽商员 Kyunghyun Cho与共事互助,稽察了一个基于Transformer的收罗来自动翻译这些记载。
由于目下还莫得裕如的近似数据来稽察这么的模子,因此团队接管了多谈话按序。各人觉得AI的翻译(对国是走访、惩处叛徒和音乐会等事件的神情)比古代的翻译更准确、更易读,在某些情况下致使比当代翻译更好。
另一方面,洽商东谈主员正在使用神经收罗来处理只须少许文本幸存下来的古代谈话。
稽察Transformer一般需要普遍的数据,不适用于这种情况,洽商者于是总结以前的模子。
举例,希腊Patras大学的Katerina Papavassileiou和共事使用RNN从克里特岛克诺索斯(Knossos, Crete)的1,100块迈锡尼泥板(Mycenaean tablets)中规复了缺失的文本,包含公元前两千年书写的羊群记载(Linear B)。
在东谈主工测试中,模子的前十个瞻望准确率达到了72%,而在施行应用中,其性能频繁能跟东谈主类各人打平。
为了进一步检阅效果,Papavassileiou但愿添加视觉数据(如不完好字母的踪迹),而不单是是依赖音译文本。她还在洽商「迁徙学习」,将模子从一个系列的泥板中学到的常识应用于其他系列的泥板。
看似不能能的任务
让咱们回到最运转的例子,阅读赫库兰尼姆(Herculaneum)卷轴触及克服两个大问题。
最初,脆弱的卷轴无法伸开。为了看到它们的里面,盘算推算机科学家 Brent Seales花了数年时期开发「杜撰伸开」技巧,包括对卷轴的里面结构进行高分辨率盘算推算机断层扫描(CT),并手工绘图横截面每一帧中可见的名义,然后使用算法将名义伸开成平面图像。
2015年,洽商东谈主员使用这种技巧从以色列恩戈地(EnGedi)的一个烧焦、无法大开的卷轴(公元3世纪傍边)中阅读完好的文本,效果施展注解它来自圣经的章节。
比拟于EnGedi的卷轴,Herculaneum的卷轴每卷都有几百圈,况且像丝绸通常薄。为了拿获极高分辨率的CT数据,团队将几个卷轴输送到牛津隔邻的Diamond Light Source使用粒子加快器。
然而,EnGedi卷轴和其他后期作品的墨水不息含有铁,在CT扫描中会发出亮堂的光泽,而Herculaneum的抄写员使用的是碳基墨水,在扫描中是看不见的,因为它的密度与使用的莎厕纸换取。
Seales团队意志到,诚然他们无法径直看到墨水,但有可能检测到它的步地。——淌若清晰的纸莎草纤维与涂有墨水的纤维比拟,名义纹理存在眇小互异,也许他们不错稽察神经收罗来捕捉这种互异。
不外对于Seales的小团队来说,这个责任量太大了,因此他们在2023年3月与硅谷企业家Nat Friedman互助发起了维苏威火山挑战赛(Vesuvius Challenge),并提供了丰厚的现款奖励。
Seales团队发布了卷轴名义的扁平图像,并条目参赛者稽察神经收罗来找到墨水。擢升1,000个团队进入了比赛,每天都少见百东谈主在比赛的Discord频谈善策划程度。
最终在2024年2月,盘算推算机专科的学生Youssef Nader、Luke Farritor和Julian Schilliger 得到了700,000好意思元的大奖。
凯旋团队使用了TimeSformer,是Transformer的一种变体,频繁用于在视频数据平辞别处理空间和时期维度。
对于洒落在那不勒斯、巴黎、伦敦和牛津的这些「上古卷轴」,这个期间的AI将有望令其重见光明。
参考府上:
https://www.nature.com/articles/d41586-024-04161-z