Alibaba unterstützt die Digitalisierung alter chinesischer Bücher mit fortschrittlicher KI-Technologie

Eine Initiative zur Bewahrung alter Kultur und zur Zugänglichmachung chinesischer Klassiker für ein weltweites Publikum

18. Mai 2021, Peking – Die Digitalisierung chinesischer Klassiker ist eine Herausforderung, da alte chinesische Schriftzeichen komplex sind. Im Laufe der Geschichte konnte ein chinesisches Schriftzeichen mehrere Varianten und Schreibformen haben. Die Digitalisierung alter chinesischer Bücher durch optische Zeichenerkennung (OCR) erleichtert nicht nur das maschinelle Lesen, sondern gibt auch zahlreichen alten Büchern ein neues Leben für die Öffentlichkeit.

Die Alibaba DAMO Academy (DAMO), das globale Forschungsinstitut von Alibaba, hat gemeinsam mit der Alibaba Foundation, der Bibliothek der University of California, Berkeley, der Sichuan-Universität, der Chinesischen Nationalbibliothek und der Zhejiang-Bibliothek ein neues Projekt zur Digitalisierung chinesischer Klassiker gestartet. Das Programm zielt darauf ab, alte chinesische Bücher zu digitalisieren und zusammenzuführen sowie gescannte Bilder in Texte für den offenen Zugang umzuwandeln. Auf diese Weise können Bibliotheken in China und weltweit zusammenarbeiten, um ihre alten chinesischen Bücher kostenlos der Welt zur Verfügung zu stellen.

Jeff Zhang, Leiter der Alibaba DAMO Academy, sagte: „Alibaba wird weiterhin Ressourcen und modernste Technologie investieren, um solche Projekte zu unterstützen. Alte Bücher der Öffentlichkeit zugänglich zu machen, entspricht unseren Werten und unserer Überzeugung von ‚Tech for Change‘. Wir glauben, dass Technologie eine entscheidende Rolle bei der Bewahrung wertvoller Kulturgüter und des kulturellen Erbes spielen kann, und wir freuen uns auf die Zusammenarbeit mit Bibliotheken in China und weltweit, um dies zu verwirklichen.“

Die erste Charge chinesischer Klassiker aus dieser gemeinsamen Initiative stammt aus der C.V. Starr East Asian Library der University of California, Berkeley, einer der größten akademischen Bibliotheken mit umfangreichen Beständen alter chinesischer Bücher. 200.000 digitale Seiten alter Bücher sind jetzt ausgestellt, darunter Holzdruckbücher und Manuskripte aus der Song-Dynastie und der Yuan-Dynastie, einer Epoche im alten China, die über 1.000 Jahre zurückreicht. Weitere Materialien umfassen digitale Seiten eines Originalbands der Siku Quanshu 四库全书, der vollständigen Sammlung chinesischer Klassiker aus der Qing-Dynastie.

Die UC Berkeley Library stellte gescannte Seiten und Metadaten bereit, während DAMO optische Zeichenerkennung (OCR) einsetzte, um die gescannten Bilder in Text umzuwandeln. Darüber hinaus arbeitete DAMO mit Wissenschaftlern der Sichuan-Universität zusammen, um ein KI-Modell für die Einzelzeichenindexierung, automatische Zeichengruppierung und verschiedene Formen des maschinellen Lernens wie selbstüberwachtes Lernen und Few-Shot-Lernen zu entwickeln. Dieses Modell erreicht eine Genauigkeitsrate von 97,5 % bei der Erkennung alter Schriftzeichen. Das neue Modell kann nun 30.000 alte chinesische Schriftzeichen effizient erkennen und übertrifft die Lesegeschwindigkeit des Menschen um das Dreißigfache.

„Alibaba wird dieses KI-System zum maschinellen Lesen alter chinesischer Bücher bald der Öffentlichkeit zugänglich machen“, fügte Jeff hinzu.