这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用
参考资料：
- https://github.com/facebookresearch/codellama， https://github.com/facebookresearch/llama
- 模型申请地址：https://ai.meta.com/llama/ → 然后按download，填写完后 就会收到两封邮件
- https://github.com/oobabooga/text-generation-webui
- 写tutorial期间的代码：https://github.com/KTH-RPL/DriveCmd_LLM
所有模型参数和所需要的GPU并行，注意这只是模型load占用的memory 如果token或者batch size较大 也需要很多GPU显存，表格下方会说明每个之间的区别
| Model |
Size |
MP |
| code-7B |
~12.5G |
1 |
| code-13B |
24G |
2 |
| code-34B |
63G |
4 |
| 7b-chat |
~12.5G |
1 |
| 13b-chat |
24G |
2 |
| 70b-chat |
|
8 |
- 7B, 13B, 34B 指示模型参数量
- chat 指示经过了对话的fine-tuned 【 llama2论文原文：a fine-tuned version of Llama 2 that is optimized for dialogue use cases】
- code 指示此llama版本经过了code数据集的训练，can use text prompts to generate and discuss code. 此处为 官方blog
温馨提示 下列内容和 此 https://github.com/KTH-RPL/DriveCmd_LLM README 有重复：里面包含了example和我们写的prompt流程等 and yy尝试的chatgpt api那边的script
1. 申请下载模型
具体如图：
- https://ai.meta.com/llama/ 点击download
- 填写资料，勾上所有的东西
- 接受terms 然后点continue