开放原子开源大赛助力Intel BigDL-LLM服务更多开发者

2024-07-04 09:45:17

Intel借助开源大赛在全国的影响力,吸引更多开发者加入大语言模型及其在人工智能领域的创新应用。”负责BigDL-LLM赛题运营的Intel工作人员表示。

2023年,大语言模型(LLM)及应用成为全球焦点,参数量激增至万亿级。随着模型参数数量的不断增加,推理时间变得越来越长,运行大模型所需的资源消耗也越来越多,导致其运行缓慢,这为AI应用开发者带来了极大的挑战。

为此,Intel开发并开源了BigDL-LLM,可借助Intel平台优势,助力AI开发者和研究者加速优化大语言模型,提升大语言模型的使用体验。

为了使BigDL-LLM服务更多开发者,并为大型语言模型的开源应用提供更多实际应用场景,Intel与开放原子开源基金会合作,通过举办开源大赛,激励开发者创新。2023年11月,“BigDL-LLM轻量级大语言模型应用开发创新赛”在开放原子开源大赛平台正式上线,致力于进一步推动大语言模型技术的发展和应用。

 

 

开源大赛,加速优化大语言模型

开放原子开源大赛——BigDL-LLM轻量级大语言模型应用开发创新赛,以30万奖金和Intel实习机会为激励,汇聚了全国120所高校与企业单位的163支团队,经过严格筛选,来自微软公司、华东师范大学、上海交通大学、北京航空航天大学、复旦大学、同济大学、浙江静好控股集团等单位的十强团队脱颖而出,进入决赛。

本次大赛要求参赛选手通过在Intel本地PC(无需独立显卡)或云端,开发基于大语言模型的创新应用,如智能语音助手、智能助理、聊天机器人、智能客服等。参赛作品应以可执行代码和文档为主,并可选包括演示、PPT、演示视频等形式。

在决赛上,上海交通大学的SJTUNavSailor团队使用BigDL-LLM量化后的int4模型,不仅内存占用大幅下降,对话响应时间也从原本超过5分钟(仍未响应)降至8秒;华东师范大学的VidBot团队则用BigDL-LLM将Whipser语音模型放在XPU加速推理后,转录时间提速了一倍;

在使用BigDL-LLM模型加速后,效果显著,尤其是在Intel CPU平台上可以实现很大程度的加速效果,提升大模型在个人电脑运行的性能,降低AI PC的使用门槛。”同济大学、浙江静好控股集团等入围选手在路演现场接受采访时表示。

最终,获奖团队通过应用大语言模型技术,为教育、招聘和美容等行业提供了创新的技术解决方案,展现了高效、稳定和可靠的深度学习应用潜力。

 

开源大赛,助力轻量级大语言模型应用落地

在决赛的路演中,经过9位资深评委专家的细致评选,浙江静好控股集团的“美业AI大脑”团队脱颖而出,荣获一等奖。华东师范大学的OpenEduECNU和Vidbot团队也展现了卓越实力,共同荣获二等奖。

“美业AI大脑”团队负责人赛后总结时表示:“我们非常幸运能够参加开放原子开源大赛,此次获奖不仅将AI工具落地应用在美业领域,更是对美业产业未来转型升级的一种推动。”

据路演团队的介绍,“美业AI大脑”旨在全面覆盖美业的应用场景,打造一个全面、智能、互动的学习平台。该平台将为美业人员提供便捷、高效、有趣的学习体验,无论是解答日常疑问、查询专业知识、即时生成话术等,都能提供专业的解决方案。

华东师范大学OpenEduECNU团队的代表张豈明在接受采访时表示:“非常感谢开放原子开源大赛为我们提供了展示作品的平台。我们的方案利用BigDL-LLM轻量级大语言模型,结合华东师范大学的海量教育数据资源,开发出了集课程问答、试题生成和课件定制(教学大纲、教学PPT)等个性化功能于一体的教育工具,旨在帮助教育工作者提高教研效率,推动教学个性化发展,促进教育公平。”

WAIC 2024 | 聚焦大模型开源建设,开放原子开源大模型发展论坛成功举办

2024-07-04 09:42:22

7月4日,以“以共商促共享 以善治促善智”为主题的2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。

上一篇

开源数据库赋能金融领域数字化转型,2024全球数字经济大会——开放原子开源数据库生态论坛成功举办

2024-07-05 09:52:47

7月5日,以“开源生态筑基础,数字经济铸未来”为主题的2024全球数字经济大会——开放原子开源数据库生态论坛在北京成功举办

下一篇
Goto Top