阿里巴巴关照孤独症儿童的AI绘本工具“追星星的AI”
“追星星的AI”公益产品由近20位志愿者在线协作、共同开发完成。他们基于阿里自研ModelScope-Agent框架,调用基于通义大模型的多项服务,如利用角色扮演能力打造故事绘本专家角色;利用文生图、语音合成等AI多模态能力,实现从一句话故事梗概到完整有声绘本的生成。
产品页面展示
在使用过程中,体验者只需从通义App“频道”页点击进入,即可体验“追星星的AI”。譬如,输入指令“用一个小故事告诉小朋友在公共场合要保持安静”,可设置篇幅、主角性别以及避免出现的内容。很快地,AI就能自动生成一篇图文并茂的绘本故事,并支持自动朗读。对“星星的孩子”来说,“讲故事”不只是一份陪伴,更像是打开了一扇遥望未知世界的窗户。
众多新闻媒体:人民日报网、新华网、中国青年报、潇湘晨报等纷纷报道了“追星星的AI”这一创新公益项目的发布,让更多人了解到了孤独症儿童的特殊需求与挑战。
志愿者韩龙作为阿里巴巴的一名工程师,同时也是一位孤独症儿童的父亲。他深知这个群体在成长道路上所面临的挑战与不易,为了自己的孩子,为了家人,更为了全国200多万个同样命运的孤独症儿童家庭。萌生了为孩子们做点什么的念头。
随着AI技术的飞速发展,韩龙与志同道合的同事们看到了将其应用于孤独症儿童教育的巨大潜力。他们相信,科技的力量能够跨越障碍,为这些孩子带来前所未有的帮助。算法工程师李晨亮,作为另一位父亲,被韩龙的热情所感染,毅然加入项目。他深知绘本对儿童成长的重要性,也渴望为孤独症儿童带来同样的阅读乐趣与成长助力。
公益项目的推进过程中,团队遇到了前所未有的挑战——如何为星宝设计出既符合他们认知特点又充满个性化的绘本。普通孩子往往被丰富多彩的绘本所吸引,但对于孤独症儿童而言,过多的色彩可能带来视觉上的混乱与不适。他们更倾向于简洁明了的画面,这种高度的个性化要求使得市场上的绘本难以满足所有孩子的需求,星宝家长在寻找合适绘本时往往感到力不从心。
“追星星的AI”项目得到了来自海豚乐乐等孤独症机构的专业支持。在海豚乐乐机构内部,精心设计的“视觉提示”图片遍布各个角落,它们成为了孩子们学习与生活技能不可或缺的重要辅助工具。这些图片如同使用说明书,帮助他们跨越理解障碍,更好地融入日常生活。
然而,尽管模拟各类生活场景的绘本是特教老师们频繁采用的教学工具,面对星宝们千差万别的个性与需求,往往难以直接觅得一本完全契合其特殊需要的绘本。这一现状促使项目组不断探索更加个性化、定制化的教学资源,以满足每位星宝独特的学习与发展需求。
海豚乐乐为项目制作绘本模版部分内容
海豚乐乐的督导申蓉蓉和陶焘等专业康复老师,为项目组提供了专业的支持。他们根据多年的实践经验,根据孩子们独特学习特点与需求,精心打造一系列社交绘本的模版与具体故事文本内容。这些绘本主题将围绕四大核心类别——社交礼仪、常识认知、心智解读、趣味故事展开。帮助孩子们更好地理解社交规则、拓宽认知边界、提升心智解读能力,并在他们能读懂的故事中享受成长的乐趣!
上海美术电影制片厂有限公司党委副书记、副总经理彭勇表示,几家合作单位希望通过“追星星的AI”这款产品,辅助家长更好地陪伴孤独症儿童,促进孩子更好地融入社会。为了增加趣味性,上海美术电影制片厂授权该产品使用其旗下经典动画形象,星宝家长可以使用以他们为主角的模板,给孩子讲故事。
专家顾问、浙江工业大学的王永固教授投身特殊教育事业多年,目前正在开展基于AI的故事绘本研究。他认为,绘本在孤独症儿童的社交交往、正向情绪、语言沟通及行为矫正等方面具有积极干预效果。“在父母、老师的深度参与下,定制化的AI绘本可以与其他干预策略相结合,成为智慧教学、增加陪伴乐趣的重要工具。”
在“追星星的AI”志愿者、阿里巴巴通义算法工程师李晨亮看来,“与大部分AIGC产品不同,这个产品并不追求构图复杂、细节丰富、内容活泼,而是针对孤独症儿童的认知特点,力求画面简洁、人物突出,文风话风平实直接。”为更好满足定制化需求,产品支持用户自定义修改故事文本。
产品6月15日上线后,也立刻获得了苹果应用市场精选栏目推荐。 据了解,“追星星的AI”基于阿里自研ModelScope-Agent框架,调用了通义大模型的多项服务。目前,阿里巴巴已在“魔搭”社区免费开源ModelScope-Agent框架及其配套能力,未来其前后端界面将进一步开源,连接更多开发者和机构一起参与。