南都讯 记者何思敏 日前，，，，深圳河套学院Al训练平台项目团队，，，，联合哈尔滨工业大学(深圳)、深圳市大数据研究院、华为GTS(全球手艺效劳)等多家单位面向国产算力大模子训练开展联合攻关。。。。。 现在，，，，仅用1个月时间，，，，项目已基于昇腾910C国产算力集群实现DeepSeek-V4-Pro全参数续训练/SFT稳固运行，，，，完生长稳训练1500+步，，，，训练MFU超30%，，，，要害逊с子效率提升14%。。。。。 这是业界首个由第三方机构基于国产算力集群完成的DeepSeek-V4-Pro全参数后训练工程实践，，，，标记着国产AI基础设施正在从推理安排和轻量化微调迈向超大模子全参数后训练。。。。。 据相识，，，，DeepSeek-V4-Pro是一款1.6万亿参数级MoE开源旗舰模子，，，，接纳了CSA+HCA混淆希罕注重力、mHC毗连等新机制。。。。。相比于上一DeepSeek-V3/R1，，，，它对国产训练框架提出了全方位的“极限挑战”。。。。。 经联合攻关，，，，项目已基于千卡级昇腾 910C 国产算力集群，，，，乐成实现DeepSeek-V4-Pro在国产算力集群上的全参数后训练稳固运行。。。。。该模子实现1500步以上稳固迭代，，，，全程无迭代跳过、无NaN异常迭代；；；；；要害逊с子效率较初始版本提升约14%，，，，最终MFU稳固达34.9%，，，，单步训练稳固在27秒。。。。。团队同步买通DeepSeek?V4?Flash全参数续训练与SFT完整链路。。。。。 本次效果并非单次演示，，，，而是可复现、可工程化交付的万亿MoE模子国产算力稳固训练能力。。。。。项目已完成工业级自动化运筹建模场景闭环验证，，，，证实国产算力可短周期、低本钱完成行业大模子专项增强训练。。。。。 手艺层面，，，，团队实现三大突破。。。。。项目乐成构建了权重、梯度、激活、优化器状态的漫衍式承载计划，，，，使得数据并行、张量并行、流水并行与专家并行四者协同事情；；；；；优化MoE路由与希罕注重力算子、建设专家负载平衡机制，，，，缓解通讯拥堵与负载失衡；；；；；构建全指标可视化长稳监控，，，，在多日一连训练中未泛起一次Loss失控或NaN值。。。。。 在能力验证中，，，，项目设计了一项“硬核”实验：增强盛模子的数学建模能力。。。。。团队搭建了一条SFT建模数据生产workflow，，，，产出3000条高质量数学建模使命SFT样本，，，，笼罩4类目的使命和3种问题形态。。。。。训练效果显示，，，，模子LM Loss收敛至0.2056、MTP?1 Loss收敛至0.2538，，，，梯度曲线平稳。。。。。Benchmark评测显示，，，，模子四项焦点指标周全提升，，，，ORGEval WL提升超5个百分点，，，，重大推理与建模能力显著增强。。。。。 本次攻关同时落地人才作育效果，，，，深圳河套学院依托真实万亿模子训练场景，，，，累计作育42名在校学生，，，，形成师生与工程团队协同攻坚模式，，，，沉淀完整实训案例，，，，一连输出复合型AI工程人才。。。。。