苏州大学推出开源大模型OpenBA,具备150亿参数

  • 来源: donews   2023-09-25/09:56
    • 正文

    据 Arxiv 页面显示,来自苏州大学的一个研发团队近日推出一款名为 OpenBA 的开源 seq2seq 模型。

    据悉, OpenBA 是一款具有150亿参数的双语非对称seq2seq模型,也是首个加入中国开源模型社区的大语言模型变体。论文显示,研究者采用高效的技术以及采用三阶段的训练策略,从头开始训练了OpenBA模型。

    实验显示,OpenBA 在 BELEBELE 基准测试中的性能优于 LLaMA-70B,在 MMLU 基准测试中的性能优于 BLOOM-176B,在 C-Eval(hard)基准测试中的性能优于 GLM-130B。


    评论 {{userinfo.comments}}

    {{money}}

    {{question.question}}

    A {{question.A}}
    B {{question.B}}
    C {{question.C}}
    D {{question.D}}
    提交

    驱动号 更多