来源

安全验证 - 知乎

B 和显存

训练流程

学习资料

大模型应用 0 基础开发： https://aistudio.baidu.com/practical/introduce/530401522487365

飞桨零基础深度学习：https://aistudio.baidu.com/education/group/info/25302

Introduction to Semantic Kernel

GitHub - mlabonne/llm-course: Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.

https://techdiylife.github.io/big-model-training/deepspeed/LLM-state-of-GPT.html#跟大牛学llm训练和使用技巧

知识图谱

发展历程

1. 基于传统神经网络的语言模型：早期的大语言模型主要是基于传统的神经网络结 构，如循 环神经网络（RNN）、长短时记忆网络（LSTM）等。这些模型的参数数量较 小，难以处理 大规模语料库和复杂的语言结构。
2. 基于 Transformer 的预训练模型：随着 Transformer 模型的提出，研究者们开始 使用 Transformer 模型来构建大规模预训练语言模型。这些模型包括 GPT、BERT 等，通过在大 规模语料库上进行预训练，可以学习到丰富的语言知识和表示。
3. 基于自监督学习的预训练模型：为了进一步提高预训练语言模型的性能，研究者 们开始使 用自监督学习来构建预训练模型。这些模型包括 BERT、RoBERTa、XLNet 等， 通过使用自 监督任务来训练模型，可以更好地学习到语言结构和表示。