Tag: 预训练

Mar 04, 2026

• LLM
• Transformer
• 注意力机制
• 预训练
• RLHF
• 推理优化
• 大语言模型

Mar 04, 2026

• LLM
• 预训练
• Scaling-Law
• 分布式训练
• 数据并行
• 张量并行
• 流水线并行
• ZeRO
• 混合精度