git clone https://github.com/microsoft/DeepSpeed.git 然后需要修改一下代码： 1、打开目录下文件：csrc/quantization/pt_binding.cpp 将其中第 203 行的 std::vector<long int> 改为： std::vector<long long> 2、打开目录下的文件，csrc/transformer/inference/csrc/pt_binding.cpp 其中第534行： auto prev_key = torch::from_blob(workspace + offset, {bsz, heads, all_tokens, k}, {hidden_dim * InferenceContext::Instance().GetMaxTokenLength(), k * InferenceContext::Instance().GetMaxTokenLength(),…