全球最大智能模型“悟道2.0”在北京发布

　　近日，北京智源人工智能研究院在2021北京智源大会上发布超大规模智能模型“悟道2.0”。据悉，其参数规模达1.75万亿，是AI模型GPT-3的10倍，打破之前由Google Switch Transformer预训练模型创造的1.6万亿参数纪录，是目前中国首个、全球最大的万亿级模型。

　　智源研究院学术副院长唐杰教授介绍说，“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。“悟道2.0”实现了“大而聪明”，具备大规模、高精度、高效率的特点。

　　据了解，“悟道”团队研发的FastMoE技术，是打破国外技术瓶颈，实现“万亿模型”基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。同时，其还支持Switch、GShard等复杂均衡策略以及不同模型。（华凌）

　　转自：中国高新技术产业导报

　　【版权及免责声明】凡本网所属版权作品，转载时须获得授权并注明来源“中国产业经济信息网”，违者本网将保留追究其相关法律责任的权力。凡转载文章及企业宣传资讯，仅代表作者个人观点，不代表本网观点和立场。版权事宜请联系：010-65363056。

延伸阅读