AI大模型技术实践路线图
大语言模型
一般指1亿以上参数的模型,但是这个标准一直在升级,目前万亿参数以上的模型也有了。大语言模型(Large Language Model,LLM)是针对语言的大模型。
这些一般指参数的个数,B是Billion/十亿的意思,175B是1750亿参数,这是ChatGPT大约的参数规模。
视觉大语言模型
多模态大语言模型
通过 VIT 和 LLM 对齐来实现(token 算作 LLM 的 Image 的)