阿里巴巴運用大模型能力為自閉症兒童打造個性化AI繪本工具

關注自閉症兒童的公益AI繪本工具「追星星的AI」上線至今已有超過5萬人次使用

阿里巴巴近日推出關注自閉症兒童的公益AI繪本工具「追星星的AI」，利用通義家族大模型等AI能力，並聯合專業干預機構和專家，該工具可為自閉症兒童個性化訂製趣味及社會故事教學繪本，輔助家長和特殊教育老師進行教學和陪伴。該工具六月在通義APP上線，至今已有超過5萬人次使用。

自閉症即自閉症譜系障礙，在中國內地又稱孤獨症。患有孤獨症的兒童亦被稱為「星星的孩子」或「星寶」。據世界衛生組織估計，全球大約每100個兒童就有一個患有自閉症。多數「星寶」的語言表達能力有限，但大部分對視覺敏感，優先接受視覺提示。因此帶有圖文的繪本成為他們認知世界的重要窗口。由於每個「星寶」的認知水平、興趣愛好都不同，需要個性化的教育方式，而市面多為普通兒童繪本，家長很難找到適合自己「星寶」的繪本讀物。

一鍵訂製：多模態AI助力「星寶」閱讀與成長

作為一名「星寶」爸爸，阿里巴巴「追星星的AI」項目聯合發起人褚韓龍也深感很多「星寶」家庭難以找到匹配孩子認理解能力的繪本故事的痛點。他表示：「AI多模態技術的出現，為我們突破這個難點提出了新的可能。」

家長和老師在使用「追星星的AI」時，僅需輸入一句文字描述作為繪本故事梗概，並選擇年齡段、角色性別、章節數以及希望傳遞的教學內容等信息，便可以生成圖文並茂、可自動朗讀的繪本。幫助「星寶」在享受閱讀樂趣的同時，促進社交溝通能力與情感認知的發展。

該AI工具運用通義大模型的多模態和智能體能力，包括文本生成、文生圖和語音合成等，從而實現故事繪本創作專家角色的訂製化，並對文生圖模型進行了優化微調。阿里巴巴自研的多智能體框架ModelScope-Agent則作為「指揮」來整合調度不同的大模型能力和執行流程。

阿里巴巴通義算法工程師李晨亮表示：「和大部分AIGC產品不同，『追星星的AI』並不追求構圖複雜、細節豐富、內容活潑，而是針對『星寶』的認知特點，力求畫面簡潔、人物突出，文風話風平實直接。」

根據故事繪本及兒童成發育專家指導，「追星星的AI」設置了3個不同的認知層級，並支持生成常識認知、社交禮儀、心智解讀、趣味故事四大故事類型。

目前，阿里巴巴已在「魔搭」社區開源ModelScope-Agent框架及其配套能力供開發者使用。

家長和老師可以通過通義APP使用「追星星的AI」，並通過一句話描述生成有聲繪本

大模型針對優化微調更符合「星寶」個性化需求

據李晨亮介紹，基於「星寶」認知特徵的研究和100多家「星寶」家庭的實踐調研，研發團隊對通義大模型進行了針對性的優化微調，包括加入了自閉症干預領域專家提出的重要社交故事原則、敘述要素、以及公式等，令其可以擔任故事繪本專家的角色，對應用戶的個性化選項，模型可以創作符合要求的具體故事。

此外，針對「星寶」視覺認知敏感的特點，團隊對圖片生成模型上也做了針對性的微調優化，偏向簡潔友好的畫面風格、強調突出角色人物，以及對高頻場景和事件的精調進行優化，令繪本的場景風格更多樣。

浙江工業大學教育科學與技術學院副院長王永固教授是該項目的專家顧問。王教授投身特殊教育事業多年，曾發表社會故事繪本教學對自閉症兒童行為的干預效果的相關研究。王教授認為，繪本在「星寶」的社交交往、正向情緒、語言溝通及行為矯正等方面具有積極干預效果，「在父母、老師的深度參與下，訂製化的AI繪本可以與其他干預策略相結合，成為智慧教學、增加陪伴樂趣的重要工具。」

在近日舉行的世界人工智能大會上，阿里巴巴攜手多家機構包括自閉症兒童乾預機構恆星樂樂、海豚樂樂，上海美術電影製片廠、中國青少年發展基金會「閱讀中國」基金，聯合發佈公益產品「追星星的AI」。上海美術電影製片廠授權該產品使用其旗下經典動畫形象例如孫悟空、大耳朵圖圖，「星寶」家長可以使用以他們為主角的模板，給孩子講故事，增加了趣味性。