Tether QVAC赋能:百亿参数AI模型,手机与消费级GPU也能运行

Tether 推出的 QVAC Fabric 集成 BitNet LoRA 技术,打破了AI模型运行的硬件限制,使得数十亿参数的AI模型能够直接在消费级GPU和高端智能手机上进行微调和推理,标志着边缘AI能力的一次重大飞跃。

Tether 的 QVAC Fabric 集成了 BitNet LoRA 技术,能够对数十亿参数的 AI 模型进行微调,并直接在消费级 GPU 和高端智能手机上运行,将强大的 AI 能力推向了终端设备。

Tether QVAC赋能:百亿参数AI模型,手机与消费级GPU也能运行插图

Tether 的 AI 部门近期推出了一项非稳定币领域的重大创新:一个跨平台的 BitNet LoRA 框架,整合在其 QVAC Fabric 技术栈中。该框架允许直接在消费级 GPU 和主流智能手机上训练和运行参数量高达数十亿的大型语言模型。如果其性能在实际应用中能达到 Tether 基准测试的水平,这将标志着设备端 AI 从“趣味演示”阶段迈入系统性应用,对硬件厂商和加密货币基础设施投资者都具有重要意义。

Tether QVAC赋能:百亿参数AI模型,手机与消费级GPU也能运行插图1

新发布的 QVAC Fabric 支持 AMD、Intel GPU,以及苹果的 Metal 生态系统,并且兼容多种移动 GPU,实现了单一框架下的 BitNet LoRA 微调和推理。Tether 声称,在高端设备上,基于 GPU 的推理速度比 CPU 基线快 2 至 11 倍,同时内存占用相比全精度模型可减少高达 90%。这意味着在同等硬件条件下,可以运行更大规模的模型,或处理更多并发任务,这对于对散热和内存容量有严格限制的手机和笔记本电脑至关重要。

当前,技术层面的疑问仍然存在,例如 BitNet LoRA 所宣称的速度提升和内存优化,与 llama.cpp、MLC 或高通自家 SDK 等现有方案在同类设备上的表现相比如何;实际使用中的能耗和散热表现如何;以及其许可协议是否允许商业部署。然而,如果 Tether 的部分主张能在独立评测中得到证实,那么 QVAC Fabric 集成 BitNet LoRA 的技术将是实现将高端智能手机转变为中等规模语言模型可行训练和推理平台的重要一步,进一步推动 AI 向边缘计算发展,并巩固 Tether 在关键数字基础设施领域的地位。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
搜索
🇨🇳Chinese🇺🇸English