PANews 于3月21日报道,Tether 宣布在 QVAC Fabric 中发布跨平台 BitNet LoRA 微调框架,支持对 Microsoft BitNet(1-bit LLM)的训练和推理进行优化。该框架显著降低了算力和内存需求,使得十亿参数模型能够在笔记本电脑、消费级 GPU 和智能手机上进行训练和微调。
该解决方案首次实现了在移动 GPU(包括 Adreno、Mali 和 Apple Bionic)上对 BitNet 模型进行微调。测试显示,1.25亿参数模型可在约10分钟内完成微调,10亿参数模型约需1小时,甚至可扩展至移动设备上的130亿参数模型。

此外,该框架支持 Intel、AMD 和 Apple Silicon 等异构硬件,并首次在非 NVIDIA 设备上实现 1-bit LLM LoRA 微调。在性能方面,BitNet 模型在移动 GPU 上的推理速度比 CPU 快2至11倍,同时与传统16位模型相比,内存使用量最多可减少约77.8%。
Tether 表示,这项技术有望打破对高端算力和云基础设施的依赖,推动 AI 训练向去中心化和本地化发展,并为联邦学习等新应用场景奠定基础。


