Folder: LLM/LLM原理

Mar 04, 2026

• LLM
• Transformer
• 注意力机制
• 预训练
• RLHF
• 推理优化
• 大语言模型

Mar 04, 2026

• LLM
• Transformer
• 注意力机制
• Self-Attention
• RNN
• LSTM
• 位置编码
• 深度学习

Mar 04, 2026

• LLM
• GPT
• Decoder-Only
• 自回归
• Tokenizer
• BPE
• RoPE
• Embedding
• Causal-Mask

Mar 04, 2026

• LLM
• 预训练
• Scaling-Law
• 分布式训练
• 数据并行
• 张量并行
• 流水线并行
• ZeRO
• 混合精度

Mar 04, 2026

• LLM
• SFT
• RLHF
• DPO
• 指令微调
• 对齐
• Reward-Model
• PPO
• 人类反馈

Mar 04, 2026

• LLM
• LoRA
• QLoRA
• PEFT
• Adapter
• 微调
• 低秩分解
• 量化
• P-Tuning

Mar 04, 2026

• LLM
• 推理优化
• KV-Cache
• 量化
• GPTQ
• AWQ
• 投机解码
• Continuous-Batching
• PagedAttention

Mar 04, 2026

• LLM
• 部署
• vLLM
• TensorRT-LLM
• Triton
• Serving
• 模型服务
• GPU
• 推理服务

Mar 04, 2026

• LLM
• 长上下文
• 多模态
• RoPE
• Flash-Attention
• 稀疏注意力
• Vision-Transformer
• CLIP
• 技术前沿