腾讯混元Large模型全面开源！腾讯云TI平台支持一键精调与推理

11月5日，腾讯混元宣布最新开源的MoE模型“混元Large”和图文生3D模型正式上线。腾讯云TI平台也宣布同步开放接入，为广大用户、开发者提供一站式精调、API调用及私有化部署服务。混元Large模型拥有3890亿总参数量、520亿激活参数量，并支持256K上下文长度，是目前业界参数规模最大、性能领先的开源MoE模型。基于MoE（Mixture of Experts）结构的优越性，混元Large在推理速度和参数规模之间取得平衡，显著提升了模型的处理能力。测试结果显示，混元Large在CMMLU、MMLU、Ceval、AGIeval等多学科评测集以及中英文NLP任务、代码、数学等9大维度表现出色，超越Llama3和Mixtral等主流开源模型。腾讯云TI平台在国内首批完成混元大模型的适配和上架，为企业和开发者提供一键精调和推理服务，进一步扩展了腾讯云在大模型领域的生态布局，为产业智能化升级提供了强有力的技术和平台支持。腾讯混元大模型之外，目前平台也已广泛接入了Llama 3、Baichuan等市场主流开源大模型，支持快速发起训练任务或部署推理服务，使用流程简单、开发效率高。实战导向的大模型精调工具链，提升企业业务效能腾讯云TI平台致力于打造实战型大模型精调工具链，帮助用户训练出符合业务需求的高效模型，缩短开发周期并提升研发效率。平台支持灵活的数据准备和标注流程，并提供一键启动精调和推理任务的功能，大幅简化企业级用户的操作流程。精调之前的数据准备从繁琐的数据清洗到耗时的数据标注都需要一个高效的工具平台，一份高质量的训练数据对精调模型达标起着至关重要的作用。腾讯云 TI 平台沉淀了优图算法专家清洗大模型训练数据的优质Pipeline，支持开箱即用。平台面向大语言模型和多模态大模型的标注工具非常灵活，基于数据集 Schema，可完全自定义工作台，支持的大模型标注场景包括但不限于高质量文本问答对筛选、文本数据清洗、图片问答对审核/修改、图片问答竞品评测、图片多轮问答、多模态阅读理解、图片文本描述等所有文生文、图生文类的场景。腾讯云TI 平台具备卓越的云原生特性，对接用户的云文件系统后，无需数据拷贝，标注结果直接保存在原文件路径。在精调训练阶段，腾讯云TI平台内置了腾讯混元模型及其他主流开源模型，用户可以一键发起精调任务。通过硬件容错、容器调度、任务断点续训的三层保障机制，平台确保大规模训练任务的稳定性。另外，借助腾讯自研的Angel加速机制，腾讯云TI平台整体提升了训练性能30%，不仅加快了混元大模型的精调过程，还有效降低了资源消耗。与此同时，腾讯云TI平台还提供了一整套完善的模型评测工具，包括在线轻量体验、客观评测以及主观评测。这些评测功能让企业能够根据实际业务需求，对模型效果进行全方位的验证，确保在应用场景中的高效表现。全面适配国产算力，满足异构计算需求目前，腾讯云TI平台已完成对国产计算卡的适配，有效满足了相关企业对安全性和独立性的高标准要求。在适配过程中，腾讯云凭借腾讯优图实验室在相关训练方面的丰富经验，成功应对了千卡规模集群中的多项技术挑战。最新支持异构算力的统一纳管，实现了ARM架构和X86架构芯片服务器算力资源可通过一个控制台进行统一纳管，在当下算力资源紧张的情况下，帮助客户最大限度整合现有资源。通过优化系统架构和技术流程，腾讯云TI平台有效解决了性能、兼容性等关键问题，确保了混元大模型在国产硬件上的流畅运行，保障用户在自主可控环境中仍然可以获得卓越的算力和推理性能。推动大模型生态建设，助力行业智能化转型混元大模型成功上架腾讯云TI平台，标志着腾讯云在大模型生态建设上迈出全新一步。目前，腾讯在大模型领域已经构建了一套全链路产品矩阵，涵盖从底层丰富基础设施到顶层多元智能应用。包括自研通用大模型、模型开发平台、智能体开发平台，以及针对不同场景定制的智能应用解决方案等。通过这些产品和方案，致力于助力企业客户高效地将大模型技术应用到实际业务场景中，实现快速部署和价值创造。在医疗行业，腾讯云携手上海市数字医学创新中心，共研医学大模型，目前在瑞金医院实现了总检报告和电子病历生成等相关项目的落地应用。以体检报告生成为例，平均每5秒即可自动生成一份总检报告，为医生节约50%+的撰写时间。在文娱行业，阅文集团一直利用大模型能力持续提升其用户写作和插图制作效率，但面临模型迭代快、更新复杂和推理成本高昂等问题。腾讯云TI平台的应用简化了模型训练配置，通过加速框架提升了推理速度，同时提供了易于使用的管理工具，助力持续解决上述难题。大模型时代，算力、网络、数据构成了底层基础设施的“铁三角”。除了提供一站式AI大模型服务之外，腾讯云还为客户提供了HCC高性能计算集群、星脉高性能计算网络以及向量数据库等基础设施服务。不断为千行百业打造行业大模型解决方案的同时，腾讯云也在积极参与行业大模型标准的制定。在金融领域，腾讯云与信通院合作，发布了国内首个金融行业大模型标准，为智能化发展和大模型的安全合规提供了支持；在医疗健康领域，腾讯参与编写的人工智能大模型赋能医疗健康产业白皮书（2023年）已发布，旨在推动医疗健康大模型的发展并提出标准建议。与此同时，腾讯还被选举为全国信标委人工智能分委会委员兼副秘书长单位，作为核心成员，承担了更多标准制定工作以及技术引领作用。未来，腾讯云将持续优化技术，推动大模型生态建设，加速千行百业应用落地，为各行业的数字化转型提供有力支持。

本文 htmlit 原创，转载保留链接！网址：https://dgghz.com.cn/keji/4540.html