什么是大模型？

Ray Shine 2025/3/12 大模型基础知识AI

本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

如有侵权，请联系本博主删除。

大模型是参数量巨大、在海量数据上训练的深度学习模型，具备强大的通用性和涌现能力。它们通常拥有数亿至数万亿参数，并在互联网规模的数据集上预训练，从而学习到通用的语言表示和世界知识。大模型能够适应多种下游任务，并在规模达到一定阈值时展现出上下文学习、复杂推理等涌现能力。Transformer架构是其成功的关键技术基础，解决了长序列处理和并行计算的挑战。本文将深入探讨大模型的定义、核心特点及其多维度分类。

# 1.1 定义与核心特点

核心定义

大模型是参数量巨大（通常数亿至数万亿）、在海量数据上训练的深度学习模型，具备强大的通用性和涌现能力。

重要

参数规模庞大：
- 浅层理解：参数量是模型学习能力的体现，参数越多，模型能够捕捉的特征和模式就越复杂。
- 深入分析：从数亿到数万亿的参数规模，远超传统深度学习模型。例如，GPT-3拥有1750亿参数，而最新的模型如GPT-4、Gemini等参数量更是达到了万亿级别。巨大的参数量使得模型能够存储和处理海量的知识信息。
海量数据训练：
- 浅层理解：模型需要大量数据才能学习。
- 深入分析：大模型在互联网规模的超大规模数据集上进行预训练，这些数据集包括但不限于Common Crawl、Wikipedia、BooksCorpus、Reddit等。数据量通常达到TB甚至PB级别。高质量、多样化的数据是模型性能的基石，有助于模型学习到广泛的知识和泛化能力。
通用性强：
- 浅层理解：一个模型可以做很多事情。
- 深入分析：通过在广泛的无标注数据上进行预训练，大模型学习到通用的语言表示、世界知识和推理能力。这使得它们能够适应多种下游任务，如文本生成、问答、翻译、代码编写等，而无需为每个任务从头开始训练。
涌现能力 (Emergent Abilities)：
- 浅层理解：模型变大后，突然出现新的能力。
- 深入分析：这是大模型最令人兴奋的特点之一。当模型规模（参数量、训练数据量）达到一定阈值后，模型会展现出在小模型中不具备的能力，这些能力并非通过显式编程获得，而是“涌现”出来的。例如，上下文学习（In-context Learning）、复杂推理、遵循指令等。

基于Transformer架构：

浅层理解：大模型主要使用一种叫Transformer的结构。
深入分析：Transformer架构，特别是其核心的自注意力机制（Self-Attention），解决了传统循环神经网络（RNN）在处理长序列时的长距离依赖问题和并行计算效率低的问题。这使得大模型能够高效地处理和理解长文本序列，是其成功的关键技术基础。

伪代码示例：简化自注意力机制

Function SelfAttention(Query, Key, Value):
    // 1. 计算注意力分数 (Query 和 Key 的点积)
    scores = Query * Transpose(Key)  // 矩阵乘法
    
    // 2. 缩放 (防止点积过大导致梯度消失)
    scores = scores / sqrt(dimension_of_Key)
    
    // 3. Masking (可选，用于防止关注未来信息，如在Decoder中)
    If mask_is_applied:
        scores = scores + mask_value // mask_value 通常为负无穷
    
    // 4. Softmax (将分数转换为概率分布)
    attention_weights = Softmax(scores)
    
    // 5. 加权求和 (注意力权重与 Value 的乘积)
    output = attention_weights * Value
    
    Return output

这个伪代码展示了自注意力机制如何通过计算查询和键的相似度来获得注意力权重，然后用这些权重对值进行加权求和，从而捕捉序列内部的依赖关系。

# 1.2 大模型分类

大模型可以根据其功能、架构和应用领域进行多种分类：

按模态分类：
- 单模态大模型：
  - 文本大模型 (LLM)：如GPT系列、BERT、LLaMA等，专注于处理和生成文本数据。
  - 视觉大模型 (LVM)：如ViT、MAE等，专注于图像识别、生成和理解。
  - 音频大模型：如Whisper等，专注于语音识别、语音合成。
- 多模态大模型：如GPT-4V、Gemini、CLIP、DALL-E等，能够同时处理和理解文本、图像、音频等多种模态的数据，实现跨模态的交互和生成。
按功能分类：
- 生成式大模型 (Generative Models)：主要用于生成新的内容，如文本、图像、代码等。例如GPT系列、DALL-E。
- 判别式大模型 (Discriminative Models)：主要用于对输入数据进行分类、识别或预测。例如BERT用于情感分析、图像分类模型。
按架构分类：
- Encoder-only (编码器)：如BERT，擅长理解文本的上下文信息，适用于分类、问答等任务。
- Decoder-only (解码器)：如GPT系列，擅长生成文本，适用于文本续写、对话等任务。
- Encoder-Decoder (编解码器)：如T5、BART，结合了编码器和解码器，适用于翻译、摘要等序列到序列的任务。

总结

大模型是AI领域的重要里程碑，其庞大的参数量、海量数据训练、强大的通用性和独特的涌现能力，使其在多个领域展现出前所未有的潜力。理解其核心特点和分类，是深入学习大模型技术的基础。

发展历程 →

一ξひβθ光 i