上证报中国证券网讯(记者罗茂林)2月12日,记者获悉,近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。
据悉,实验结果表明,训练规模达2000万value的UltraMem模型杠杆炒股哪种效果好,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。