大模型核心专有名词及精准解释
按「架构基础→训练流程→推理部署→技术优化→应用生态」分类，覆盖高频专有名词，每个解释聚焦核心定义+实际作用，兼顾专业性与易懂性：
一、架构基础类
| 专有名词 | 核心解释 |
|---|---|
| Transformer | 2017年谷歌提出的深度学习架构，基于自注意力机制，是所有大模型的核心骨架，支持并行计算与长文本语义捕捉 |
| Self-Attention（自注意力机制） | Transformer核心组 件，计算输入文本中每个Token与所有其他Token的关联权重，实现「全局语义依赖捕捉」，让模型理解上下文关联 |
| Multi-Head Attention（多头注意力） | 将自注意力机制拆分为多个「头」，每个头聚焦不同语义维度（如语法、逻辑），最终融合结果，提升模型语义表达能力 |
| Embedding（嵌入层） | 将离散的文本Token（字/词）转换为连续的低维稠密向量（如768维），是模型理解文本语义的基础，向量维度直接影响语义表达能力 |
| Position Encoding（位置编码） | 为Token添加位置信息（因Transformer无时序依赖），通过正弦/余弦函数或可学习参数，让模型区分Token的顺序关系 |
| FFN（Feed-Forward Network，前馈网络） | Transformer的核心计算组件，由两层线性变换+激活函数（如GELU）组成，对注意力输出的特征进行非线性转换与增强 |
| LayerNorm（层归一化） | 对每层输入做标准化处理（均值为0、方差为1），稳定训练过程，避免梯度消失/爆炸，提升模型收敛速度 |
| Residual Connection（残差连接） | 跳过部分网络层，将输入直接叠加到输出，解决深层网络训练梯度衰减问题，让Transformer能堆叠上千层 |
二、训练流程类
| 专有名词 | 核心解释 |
|---|---|
| Pre-training（预训练） | 用大规模无标注语料（如全网文本、书籍）对模型进行初始训练，让模型学习语言规律、常识与基础语义，是模型能力的「基础来源」 |
| SFT（Supervised Fine-Tuning，有监督微调） | 预训练后，用标注的任务数据（如「问题→答案」对）微调模型，让模型适配具体任务（如翻译、问答），对齐人类指令 |
| RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习） | 基于人类对模型输出的评分（偏好排序），用强化学习进一步优化模型，让输出更符合人类价值观、更精准实用 |
| LoRA（Low-Rank Adaptation，低秩适配） | 微调优化技术，仅训练模型权重中的低秩矩阵（而非全量权重），大幅降低微调的显存/算力开销，适配小资源场景 |
| QLoRA（Quantized LoRA） | LoRA的量化版本，先将模型权重量化（如INT4/INT8），再进行低秩适配微调，进一步降低显存占用（比LoRA节省50%+显存） |
| Prompt Tuning（提示调优） | 仅在模型输入层添加可训练的「提示向量」，无需修改模型主体权重，适配多任务场景（如同时支持翻译、摘要） |
| 涌现性（Emergence） | 大模型参数量达到一定规模（通常10B+）后，突然出现的未明确训练过的能力（如逻辑推理、代码生成），是大模型的核心特性 |
| In-Context Learning（上下文学习） | 无需微调，仅通过在Prompt中添加示例（如「示例1：A→B；示例2：C→D；问题：E→？」），模型即可完成任务，依赖预训练习得的模式识别能力 |
三、推理部署类
| 专有名词 | 核心解释 |
|---|---|
| Inference（推理） | 训练好的模型加载权重后，接收输入并生成输出的过程（如用户提 问→模型回答），核心是前向传播计算，无反向传播 |
| TP（Tensor Parallelism，张量并行） | 分布式推理/训练策略，将模型的张量（权重矩阵）切分到多张GPU，单请求跨卡协同计算，适合解决单卡显存不足问题 |
| DP（Data Parallelism，数据并行） | 分布式策略，每张GPU加载完整模型副本，并行处理不同请求（如GPU1处理用户A，GPU2处理用户B），核心作用是提升并发量（QPS） |
| PP（Pipeline Parallelism，流水线并行） | 将模型按层切分到不同GPU组（如前50层在GPU1，后50层在GPU2），多请求流水线执行，适合超深层模型（如1000层+） |
| KV Cache | 推理优化技术，缓存输入文本的Key和Value向量（注意力计算的中间结果），后续生成新Token时无需重复计算，大幅降低延迟 |
| PagedAttention | vLLM框架提出的优化技术，将KV Cache按「页」管理，像操作系统内存分页一样，提升缓存利用率，支持更大批次请求 |
| 量化（Quantization） | 将模型权重从高精度（如FP32）转换为低精度（如INT4、FP8、BF16），减少显存占用和计算量，代价是轻微损失模型效果，是部署核心优化手段 |
| 模型格式 | 模型权重与结构的存储格式（如Safetensors、GGUF、ONNX），决定模型能否被推理框架加载，不同格式适配不同部署场景（如GGUF适配本地轻量化部署） |
| 私有化部署 | 将大模型部署在企业内网/私有服务器，数据不对外传输，满足合规、隐私保护需求（如金融、医疗行业常用） |
| 云原生部署 | 基于Docker、K8s等容器化技术，将大模型部署在云服务器，支持弹性扩容、负载均衡，适配高并发、大规模场景 |
四、技术优化类
| 专有名词 | 核心解释 |
|---|---|
| 动态批处理（Dynamic Batching） | 推理时将多个不同长度的请求动态组合成批次，提升GPU利用率（比静态批处理更灵活，降低空闲时间） |
| 连续批处理（Continuous Batching） | vLLM核心技术，无需等待批次中所有请求完成，一个请求生成结束后立即加入新请求，最大化GPU吞吐量 |
| 模型蒸馏（Knowledge Distillation） | 将大模型（教师模型）的知识迁移到小模型（学生模型），让小模型在保持接近大模型效果的同时，体积更小、速度更快 |
| 剪枝（Pruning） | 移除模型中不重要的权重（如接近0的权重），减少模型参数量和计算量，分为结构化剪枝（移除层/头）和非结构化剪枝（移除单个权重） |
| 混合精度计算（Mixed Precision） | 训练/推理时结合不同精度（如FP16计算+FP32存储梯度），在保证模型效果的同时，提升计算速度、降低显存占用 |
| NVLink | 英伟达GPU专属高速互联技术，支持多GPU间直接通信（无需通过CPU），带宽远高于PCIe，提升分布式训练/推理的互联效率 |
| RDMA | 远程直接内存访问技术，无需CPU参与，让两台服务器的内存直接通信，是多机分布式部署的核心网络技术（降低通信延迟） |
五、应用生态类
| 专有名 词 | 核心解释 |
|---|---|
| Agent（智能体） | 基于大模型的自主决策系统，能理解任务、规划步骤、调用工具（如搜索、计算器）、执行反馈，实现端到端复杂任务（如写报告、数据分析） |
| RAG（Retrieval-Augmented Generation，检索增强生成） | 结合「检索」与「生成」，先从外部知识库检索相关信息，再让模型基于检索结果生成回答，解决大模型知识过期、事实性错误问题 |
| Prompt Engineering（提示工程） | 设计优化Prompt（用户输入），引导模型输出符合预期的结果（如明确任务要求、添加示例），无需修改模型，是提升模型效果的低成本手段 |
| 插件（Plugin） | 为大模型扩展功能的工具模块（如地图插件、邮件插件），让模型能调用外部服务，突破原生能力限制（如实时查询天气、预订机票） |
| API调用 | 云服务商（如OpenAI、阿里云）将大模型封装为API接口，用户无需部署模型，通过HTTP请求调用模型能力（如调用GPT-4 API生成文本） |
| 多模态大模型（Multimodal LLM） | 支持多种输入模态（文本、图片、音频、视频）的大模型（如GPT-4V、Gemini），能跨模态理解与生成（如输入图片→生成描述文本） |
| 领域大模型 | 基于通用大模型微调，适配特定领域的模型（如医疗大模型、法律大模型、代码大模型），在专业场景下效果优于通用大模型 |
需要我将这些名词按「学习路径」排序（从入门到进阶），或生成可导入文档的表格/思维导图格式吗？