Code Llama 是基于 Llama 2 的代码大型语言模型系列,在开放模型中提供最先进的性能、填充功能、对大型输入上下文的支持以及编程任务的零镜头指令跟踪能力。我们提供多种风格来涵盖广泛的应用:基础模型(Code Llama),Python 专业化(Code Llama - Python)和指令遵循模型(Code Llama - Instruct),每个模型都有 7B、13B 和 34B 参数。所有模型都在 16k 个令牌的序列上进行训练,并显示对最多 100k 个令牌的输入的改进。7B 和 13B 代码骆驼和代码骆驼 - 指示变体支持基于周围内容的填充。Code Llama 是通过使用更高的代码采样微调 Llama 2 开发的。与 Llama 2 一样,我们对模型的微调版本应用了相当大的安全缓解措施。有关模型训练、架构和参数、评估、负责任的 AI 和安全的详细信息,请参阅我们的研究论文。由 Llama 材料(包括代码美洲驼)的代码生成功能生成的输出可能受第三方许可的约束,包括但不限于开源许可。
我们正在释放大型语言模型的力量,我们最新版本的Code Llama现在可供各种规模的个人,创作者,研究人员和企业访问,以便他们可以负责任地进行实验,创新和扩展他们的想法。此版本包括预训练和微调的 Llama 语言模型的模型权重和起始代码——参数范围从 7B 到 34B。