git clone https://github.com/microsoft/DeepSpeed.git 然后需要修改一下代码： 1、打开目录下文件：csrc/quantization/pt_binding.cpp 将其中第 203 行的 std::vector<long int> 改为： std::vector<long long> 2、打开目录下的文件，csrc/transformer/inference/csrc/pt_binding.cpp 其中第534行： auto prev_key = torch::from_blob(workspace + offset, {bsz, heads, all_tokens, k}, {hidden_dim * InferenceContext::Instance().GetMaxTokenLength(), k * InferenceContext::Instance().GetMaxTokenLength(),…
风水管窥见（十）
俗谓山水之分，有丁财所管之别，然不可尽拘，古之名初，常用山龙而无水龙之地，亦有大发富贵者，又有平原之地，有水龙而无山龙者。故按水法之论，来去二口生死门也，若不善，祸莫大焉。亦有砂峰者有官杀奴鬼财之别，逢之煞者，亦不免祸也，反之贵者亦然，消砂纳水本为一体，彼此而不可分也。
风水管窥见(八）
余以习地理者，当先知假地，何为之假？ 于峰者，星峰孤露、臃肿峻峥带杀于龙者，过峡风吹水劫，砂水反背于首者，愈转愈粗，界水不分于脉者，来脉无脊萎靡，一坦平宽于水者，四水散漫，虽有明堂而源头水不至于堂者，虽有合襟而细观不成五行星体
风水管窥见(七）
余于祁禄山访所传杨公为张氏造葬，其谓天鹅下水形。 古有传闻，为杨公命张氏令十八祼女挑土筑墓，然动工之时，杨公在一旁笑之，主家以为戏弄，故女子只挑得一担便停，致此地不足也。 此说多不可信，疑点甚多，此墓葬之大，若果命十八祼身女子担土，岂可说停便停。 按余之见，此盖言其龙力不足也，其所需土者，大抵用之培龙而未得全功。 墓接乾宫之气，所朝巽向，墓后一片田地，古以之塘，穴旁来脉有突，然受风吹水劫，故未可用也，堂前已经修建成水泥之路，地亦多有破坏，旁有一小塘，前有山形起突，人言官帽状，然其形颇欠，又查之外堂水口出于艮。 用之集葬之法，乃聚龙气也，穴前一井，又为止龙也。 此地未出官贵，富亦有限，然人丁尚可，曾发得张十八郎、张十九郎人成神，所信者众，香火颇足，至今有游神集会，其庙在墓旁。 然世人只见其未得财官者，亦多有微词。
堪舆小论
堪舆之道，世间有俗师常言观形，稍有涉深者则多言望气，望气之术，有言五色七彩者，不一而同，虽稍涉实际，然大多不过故作神秘耳。此类俗师，竟不知观气即观形，观形即观气，然其中妙者，又在理字。正如《青囊》所云：理寓于气，气囿于形。 《清朝四库全书总要》云东汉之前无堪舆术之说，此说当误。余细察新石器时代之如崧泽，良渚，其合于平洋之法，又商周时代之墓葬，如湖州、宁绍之土墩墓，或独立山巅，或居山岭之侧 ，俱合山龙之天人葬法，更战国时期，钱塘以南之墓葬，亦合乎人地葬法。既例数极多，非巧合可论，故非上古无堪舆，实是后世学术不精，故不见真也。 细审爱因斯坦，华盛顿，罗斯福等人故居，亦合堪舆，惜其中巧妙涉密，未可对人言也。 世间之人，只见其财官名利，然堪舆岂只用此耳，大则潜通于道。
三僚观音望海墓之疑
三僚曾家有一祖墓，喝形名观音望海，据闻曾氏祖上单丁过代，葬下观音望海此墓后，家业渐兴而再无单丁之事，后繁衍至此。 然细考曾氏家谱，观音望海所葬为曾氏十世祖婆钟氏，葬后第十一、十二、十三世，皆单丁，又第十三世生有三子，仅一 人有后，故十四世仅一人，后又至十五世仍是独子。 惟十五世生两子，又两子生六子，六子而生多子，始众之，若言其后繁衍，此墓之功，不免牵强。
对五行关系进行建模并用BP进行反向求解
import numpy as np # 生克关系矩阵 matrix = np.array(, , , , ]) # 每个元素之间的相互作用强度 weights = np.random.randn(5, 5) # 定义模型函数 def model(theta): # 将一维参数转换为二维矩阵 w1 = theta.reshape(5, 5) b1…
win11下bitsandbytes的用法
要将大模型进行量化加载，需要使用到bitsandbytes这个库，但它原生是在Linux下安装使用的，因此如果要在win11下使用，需要做一些修改。 在pip install bitsandbytes 之后，修改源代码两处。 一般安装了conda后，目录在：{driver}:\conda\envs\{name}\Lib\site-packages\bitsandbytes\ 下, 在pip install，一般都会写上安装到的位置，直接拷贝即可。 首先在这个目录下，先把下载的libbitsandbytes_cuda116.dll 文件拷贝到这个目录下。 主要是两个文件，一个是 cuda/main.py 中的 evaluate_cuda_setup() 函数，可直接让它返回 "libbitsandbytes_cuda116.dll"，因为原来的代码中默认都是直接加载的liunx下的.so文件，所以要改对对应的dll 第二处是目录下的 cextension.py，需要将其中的 ct.cdll.LoadLibrary(binary_path) 改成 ct.cdll.LoadLibrary(str(binary_path)) in cuda_setup/main.py: make evaluate_cuda_setup() always return "libbitsandbytes_cuda116.dll" in ./cextension.py: change ct.cdll.LoadLibrary(binary_path)…
尝鲜LLaMA的7B及13B模型
LLaMA有7B,13B,33B,65B，四种规格的预训练模型，33B与65B需要的显存量太大，所以无法尝试，只能在3090卡上尝试一下7B及13B的。 由于显存的限制，所以使用了INT8加载模型的方案，主要用的是llama-int8来进行加载，这个的原理是将模型加载到内存中，然后再拷贝到显存中。 13B模型，大概占用了17G左右的显存，而且运行速度并不太理想，实验它的本文生成能力，也不尽人意，没发现有什么出色的地方。 例如输入: I think the sun，输出是： 输出的内容很显然似乎却少了连贯性，简单来说它对于短文本的连续生成可能并不尽如人意，因此，我又尝试了像示例中那样的输入长语句，看一下它续写的效果。 生成的内容仍旧是缺乏关联，上下文依旧是一片混乱。 当输入了加法运算时， 它生成的结果更加莫名，虽然不指望模型拥有多少数学能力，但是显然这里的答案过于离谱，可以说几乎并不具备数学能力。 初步推测，也许是模型转换成INT8后产生的影响，因此在百度的AI Studio中再次进行了实验，效果也不尽人意。 在参考了一些其它人的经验后，按照别人的问句问了个有趣的问题： Question: I am looking to make a loft of money and I don't hava a…
梅花一古例
“因字中有梅花、六壬之说，恰值西南方起一阵怪风，直卷的吹进屋来，即袖占一课。西南属巽，风又生巽，加酉时得十数，得巽之渐。暗忖：巽在床下，风势甚紧，事顷刻矣！体既和用，互见水火，有生无制，变为体克兑金，有水克反能生，词占俱吉，匪寇婚媾也！” -------《野叟曝言》 三符按：其以西南属巽，盖取先天之卦也，又以风加之巽，故得巽卦，后以酉时得十数而变风山渐，却以渐中之上离下坎，谓互见水火，而变化为体克兑金者，乃取之于巽，得离兑之卦，即火克金也。 此以先天卦配取变得之为本，中抽以为用，后又取处为变，并又中抽，取之离为体，又是一流也。