達摩院技術助海外中文古籍數字化 20萬頁古籍AI識別準確率97.5%
在悠長的歷史洪流中,古籍刻本成為傳承不同時代人文生活的重要載體,而科技則為歷史記載帶來更多展示方式。在5月18日國際博物館日來臨之際,一批珍藏於美國加州大學柏克萊分校(University of California, Berkeley)的中文古籍善本得以利用數字化方式,通過「漢典重光」平台重回公眾視線,供予翻閱、檢索及調用。
「漢典重光」項目由阿里巴巴公益基金會、中國四川大學、加州大學柏克萊分校、中國國家圖書館及浙江圖書館等單位共同合作,旨在尋覓流散海外的中國古籍將其數字化與公共化,讓大家特別是古籍研究者也能夠親近古籍,通過古籍與先賢對話,與優秀傳統文化對話。
阿里巴巴達摩院院長張建鋒表示,阿里巴巴計劃將這套技術工具連同古籍數字化平台一併捐贈,交由權威公共機構長期運營,同時,阿里巴巴仍將在古籍數字化工作上持續投入人力物力。
古籍散佚向來受文化傳播、邦交貿易、慈善捐贈或天災人禍等因素影響,歷史上中國古籍時有出海,這些中國古籍包括甲骨簡牘、敦煌遺書、宋元善本、明清精槧、拓本輿圖及少數民族文獻等。
2019年,阿里巴巴和四川大學以數字化為合作契機,由四川大學歷史文化學院副院長王果與該院教授、中央文史研究館館員陳力牽線搭橋,聯絡位於北美洲、歐洲及日本韓國等地的藏書機構,並獲得加州大學柏克萊分校支持,達成公益項目「漢典重光」的共識,將柏克萊東亞圖書館的中文古籍、手稿及文獻等善本逐步數字化。
加州大學柏克萊分校是美國的漢學研究重鎮,以中文藏書量計,為全美國排名第三。納入首批數字化名單的約20萬頁古籍中,包含40餘種珍貴宋元刻本及寫本,例如宋刻本《後村居士集》、北宋《金粟山大藏經》寫本;明清至民國時期著名學者錢謙益、翁方綱、王韜的抄本、稿本;著名藏書樓嘉業堂、密韻樓的抄本,還有命運多舛的清文瀾閣《四庫全書》零本。
達摩院研發全新古籍識別系統
將古籍數字化的方法主要有兩種,一種是純人工錄入,將內容全數輸入至電腦之中;另一種是電腦與人工相結合,由電腦利用光學字元辨識(Optical character recognition,OCR)技術識別一部分文字,電腦無法識別的文字就由專家手動錄入,最終再由人工校對。
中國古籍全部字符約有數十萬,絕大部分不僅沒被現代字庫收錄,也幾乎找不到樣本供人工智能(AI)學習。面對海量未受標註的數據,如何讓AI快速批量識別古籍,始終是「古籍數字化」領域的技術瓶頸。
達摩院技術團隊與四川大學專家聯手研發一套全新的古籍識別系統,利用單字檢測、無監督單字聚類、少樣本分類、主動學習等有系統性的機器學習方法,構造一套邊識別古籍、邊訓練模型的系統,以97.5%的準確率完成對約20萬頁古籍的整體識別。
目前該古籍識別系統已經能有規模地識別逾百本古籍,並沉澱覆蓋3萬多字的古籍字典。比起專家人工錄入,這套人機交互的識別系統將效率提升近30倍。隨著古籍識別規模的擴增,機器還會自我進化,不斷提升準確率和效率。
長期在中央文史研究館研究古籍的陳力表示,典籍是中華文明的傳承載體,更是人類世界的公共財產,希望有更多力量參與中國古籍的保護和傳承,讓所有蒙塵的古籍都進入公共世界,讓更多普通人有機會接觸古籍、使用古籍,讓書寫在古籍裡的文字活起來。
「漢典重光」首批數字化古籍重要書目一覽:
- 周易兼義九卷(魏)王弼(晉)韓康伯注(唐)孔穎達疏 元刻本
- 易附記十六卷【存卷一至十一】書附記十四卷詩附記十卷【存卷一至七】禮記附記囗卷【存卷四至六】春秋附記【缺卷七、九】(清)翁方綱撰 稿本,嘉業堂藏書
- 五代史闕文一卷(宋)王禹偁撰 清乾隆南昌彭氏知聖道齋抄本,清彭元瑞跋,嘉業堂藏書
- 瀛壖雜誌一卷(清)王韜撰 稿本 清魏彥、左桂、孫瀜、趙烈文題記
- 金石古文八卷(題)雙華山人喬輯 清周亮工抄本 清吳騫跋
- 居業錄八卷【存卷三至四】(明)胡居仁撰 清乾隆文瀾閣四庫全書本,嘉業堂藏書
- 學思錄一卷(封面題東塾存稿)(清)陳澧撰 稿本
- 丙丁龜鑑十卷(宋)柴望撰 天一閣抄本
- 新刊履齋示兒編二十三卷(宋)孫奕撰 明抄本,天一閣、嘉業堂遞藏
- 蓬軒類記四卷(明)黃暐撰 明抄本 柯逢時校,汪氏振綺堂、劉氏嘉業堂遞藏
- 大般若波羅蜜多經【存卷第二百五十四】 北宋寫金栗山廣惠禪院大藏本
- 蘇文忠公文集【存一葉】(宋)蘇軾撰 宋四川眉山刻本
- 淮海集四十卷淮海後集六卷(宋)秦觀撰 宋乾道九年高郵軍學刻宋元明遞修本,嘉業堂藏書
- 傅忠肅公文集三卷(宋)傅察撰 清初經鉏堂抄本,曹溶舊藏
- 鶴山先生大全文集一百十卷目錄二卷[存卷一至九、九六、九十九至一百零三、一百九十](宋)魏了翁撰民國蔣汝藻影宋抄本,密韻樓藏書
- 後村居士集五十卷目錄二卷【卷四十六至五十繆荃孫抄配】(宋)劉克莊撰 宋刻本,嘉業堂藏書
- 林子真詩一卷(明)林光宇撰 明曹學佺輯 明崇禎韓錫抄本
- 茗柯文編囗編囗卷【存初編一卷三編一卷四編一卷未編稿一卷】(清)張惠言撰 稿本清範當世、近人葉恭綽跋,嘉業堂藏書
- 宋百家詩存四十卷【存卷七】(清)曹廷棟輯 清文瀾閣四庫全書本
- 西清詩話三卷(題)無為子撰 明抄本,嘉業堂藏書
- 拜經樓詩話續編二卷(清)吳騫撰 稿本,嘉業堂藏書
- 玉茗新詞四種(明)湯顯祖撰 明萬曆四十六年雕蟲館刻本
立即訂閱阿里足跡,緊貼阿里巴巴集團最新發展動向,通過新聞故事及專題文章了解創新科技、電子商務及智能物流等新興議題的嶄新趨勢。
分享