Tether 發布跨平台 BitNet LoRA 框架,讓消費級設備能夠微調數十億參數的模型。

PANews 3月21日報導,Tether宣布在QVAC Fabric中發布跨平台BitNet LoRA微調框架,實現對Microsoft BitNet(1位元LLM)訓練和推理的優化。該框架大幅降低運算能力和記憶體需求,使十億參數模型能夠在筆記型電腦、消費級GPU和智慧型手機上進行訓練和微調。

該解決方案首次實現在行動GPU(包括Adreno、Mali和Apple Bionic)上對BitNet模型進行微調。測試顯示,125M參數模型約10分鐘即可完成微調,1B模型約1小時,甚至可以擴展到行動裝置上的13B參數模型。

此外,該框架支援Intel、AMD和Apple Silicon等異構硬體,並首次在非NVIDIA設備上實現1位元LLM LoRA微調。在效能方面,BitNet模型在行動GPU上的推理速度比CPU快2到11倍,同時與傳統16位元模型相比,記憶體使用量最多降低了約77.8%。

Tether表示,這項技術有潛力打破對高階運算能力和雲端基礎設施的依賴,推動AI訓練朝向去中心化和本地化發展,並為聯邦學習等新應用場景提供基礎。