# Large Language Models

## 基于Transformer网络架构的LLM算法原理和实现系列

课程介绍： 基于Transformer网络架构的LLM算法原理和实现系列较为全面的介绍了在Transformer网络架构出现后NLP的相关技术原理和实现，主要内容表现在：  
1、NLP的分词器（如WordPiece和BytePair Encoding）；   
2、词嵌入(如CBOW，Skip-Gram，Glove）；  
3、Transformer网络架构以及自注意力机制的实现，编码器解码器架构，以及基于编码器的文本分类，基于解码器的语言自回归任务，基于编码器解码器架构的语言翻译；   
4、BERT原理和实现，基于BERT的QA（基于SQuAD)微调；  
5、GPT原理以及基于GPT的自回归任务（包括Character-Level GPT）和Instruct GPT的基本原理（RLHF微调人类反馈的问题和指令任务等场景）。  

这些知识分享系列不仅从知识原理上进行了较为详细的阐述，同样在实践环节也做了细致的解读和实验演示。

课程链接为：[基于Transformer网络架构的LLM算法原理和实现系列课程](https://space.bilibili.com/505620745/lists/3673548) 。