win11下bitsandbytes的用法

要将大模型进行量化加载，需要使用到bitsandbytes这个库，但它原生是在Linux下安装使用的，因此如果要在win11下使用，需要做一些修改。

在pip install bitsandbytes 之后，修改源代码两处。

一般安装了conda后，目录在：{driver}:\conda\envs\{name}\Lib\site-packages\bitsandbytes\ 下, 在pip install，一般都会写上安装到的位置，直接拷贝即可。

首先在这个目录下，先把下载的libbitsandbytes_cuda116.dll 文件拷贝到这个目录下。

主要是两个文件，一个是 cuda/main.py 中的　evaluate_cuda_setup() 函数，可直接让它返回　”libbitsandbytes_cuda116.dll”，因为原来的代码中默认都是直接加载的liunx下的.so文件，所以要改对对应的dll

第二处是目录下的　cextension.py，需要将其中的 ct.cdll.LoadLibrary(binary_path) 改成 ct.cdll.LoadLibrary(str(binary_path))

in cuda_setup/main.py:
make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll"
in ./cextension.py:
change ct.cdll.LoadLibrary(binary_path) to ct.cdll.LoadLibrary(str(binary_path))