CodeShell 具有 70 亿参数，采用五千亿 Tokens 进行了训练，上下文窗口长度为 8192。CodeShell 的原始训练数据基于自己爬取的 GitHub 数据、Stack 和 StarCoder 数据集，以及少量高质量的中英文数据。
在权威的代码评估 Benchmark（HumanEval 与 MBPP）中，CodeShell 取得同等规模最好的性能。
CodeShell 具有 70 亿参数，采用五千亿 Tokens 进行了训练，上下文窗口长度为 8192。CodeShell 的原始训练数据基于自己爬取的 GitHub 数据、Stack 和 StarCoder 数据集，以及少量高质量的中英文数据。
在权威的代码评估 Benchmark（HumanEval 与 MBPP）中，CodeShell 取得同等规模最好的性能。
