要将大模型进行量化加载，需要使用到bitsandbytes这个库，但它原生是在Linux下安装使用的，因此如果要在win11下使用，需要做一些修改。 在pip install bitsandbytes 之后，修改源代码两处。 一般安装了conda后，目录在：{driver}:\conda\envs\{name}\Lib\site-packages\bitsandbytes\ 下, 在pip install，一般都会写上安装到的位置，直接拷贝即可。 首先在这个目录下，先把下载的libbitsandbytes_cuda116.dll 文件拷贝到这个目录下。 主要是两个文件，一个是 cuda/main.py 中的 evaluate_cuda_setup() 函数，可直接让它返回 "libbitsandbytes_cuda116.dll"，因为原来的代码中默认都是直接加载的liunx下的.so文件，所以要改对对应的dll 第二处是目录下的 cextension.py，需要将其中的 ct.cdll.LoadLibrary(binary_path) 改成 ct.cdll.LoadLibrary(str(binary_path)) in cuda_setup/main.py: make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" in ./cextension.py: change ct.cdll.LoadLibrary(binary_path)…