HappyDog

项目简介

本项目是学习大模型时进行开发的一个从零开始构建一个拥有千万参数的大模型，包括预训练(Pretrain)、有监督微调(SFT)以及使用R1数据进行蒸馏三个阶段，逐步打造的一个能够流畅进行对话问答的大模型基座。

模型结构

从0搭建类似LLaMA3前沿模型结构，从0实现RMSNorm、RoPE位置编码等。

数据选用

使用匠数大模型数据集作为基础数据集，包括Pretrain阶段的数据以及SFT阶段的数据。

最终效果

权重文件以及训练数据下载：

https://huggingface.co/th1u/HappyDog/tree/main