要将大模型进行量化加载,需要使用到bitsandbytes这个库,但它原生是在Linux下安装使用的,因此如果要在win11下使用,需要做一些修改。
在pip install bitsandbytes 之后,修改源代码两处。
一般安装了conda后,目录在:{driver}:\conda\envs\{name}\Lib\site-packages\bitsandbytes\ 下, 在pip install,一般都会写上安装到的位置,直接拷贝即可。
首先在这个目录下,先把下载的libbitsandbytes_cuda116.dll 文件拷贝到这个目录下。
主要是两个文件,一个是 cuda/main.py 中的 evaluate_cuda_setup() 函数,可直接让它返回 ”libbitsandbytes_cuda116.dll”,因为原来的代码中默认都是直接加载的liunx下的.so文件,所以要改对对应的dll
第二处是目录下的 cextension.py,需要将其中的 ct.cdll.LoadLibrary(binary_path) 改成 ct.cdll.LoadLibrary(str(binary_path))
in cuda_setup/main.py: make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" in ./cextension.py: change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path))
发表评论