构建自己的大语言模型
调用现成的 AI 接口很方便，但企业数据要发给外部服务，模型也不懂您的行业。这场两天的动手讲座带您走完构建自己大语言模型的完整流程：先从零训练一个小模型，弄懂大语言模型的原理；再用您自己的数据微调开源模型，评估效果，并在自己的服务器上运行。
两天内容概览
- 第一天：理解并从零训练。拆解大语言模型的工作原理，准备数据、训练分词器，用 PyTorch 亲手写出并训练一个小型 GPT 模型。
- 第二天：微调、评估与部署。选择合适的开源基础模型，用 LoRA 方法以较低成本微调，系统评估结果，最后量化并在本地部署。
您将学到
- 理解大语言模型的核心原理：分词、词向量、Transformer、注意力机制和下一个词预测
- 收集、清洗和整理训练数据，训练自己的分词器
- 用 PyTorch 从零实现并训练一个小型 GPT 模型，读懂训练曲线并调整超参数
- 根据许可证、模型规模和硬件条件，选择合适的开源基础模型
- 构建指令微调数据集，用 LoRA 和 QLoRA 微调模型
- 用自动指标、人工评测和“以模型评模型”的方法评估效果
- 量化模型，并在本地或自己的服务器上运行
- 判断什么时候值得自建模型，什么时候用检索增强（RAG）或现成接口更合适，并兼顾数据保护（GDPR）
日程安排（两天，每天 6 小时，含休息）
第一天：理解并从零训练
- 大语言模型如何工作（60 分钟）：分词、词向量、Transformer 与注意力机制、下一个词预测
- 数据准备与分词（60 分钟）：收集和清洗文本数据，训练 BPE 分词器
- 从零训练小型 GPT（120 分钟）：用 PyTorch 实现模型和训练循环，在小数据集上完成训练
- 观察训练与调参（60 分钟）：损失曲线、过拟合、超参数，算力与成本估算
- 第一天总结与问答（30 分钟）
第二天：微调、评估与部署
- 选择开源基础模型（45 分钟）：常见开源模型的对比，许可证、模型规模与硬件要求
- 构建微调数据集（60 分钟）：指令数据格式、数据质量，把企业资料整理成训练数据
- LoRA 与 QLoRA 微调（90 分钟）：动手微调开源模型，与基础模型对比
- 评估模型（60 分钟）：自动指标、人工评测、以模型评模型
- 量化与本地部署（45 分钟）：模型量化，用常见推理工具在本地运行并提供接口
- 自建还是不自建，总结与问答（30 分钟）：自建模型、RAG 与现成接口的取舍，数据保护
适合人群
希望在企业内部构建或定制大语言模型的开发者、数据工程师和技术负责人。学员需要掌握 Python 基础。
费用: 1500 欧元（两天讲座）。预约或咨询请联系我们。