Tether CEO Paolo Ardoino Advocates for Local Translation Models on Small Devices

Tether CEO Paolo Ardoino advocates for the use of small device local translation models, emphasizing privacy protection and user experience.

Tether首席执行官Paolo Ardoino将焦点放在人工智能的一个不同领域:完全在设备上进行翻译,而无需将敏感文本发送到云端。

在许多情况下,用户并不完全了解数据的去向、保留时间或可能被谁访问。Ardoino认为,这不仅是一个理论性问题,而是一个实际问题,尤其是在涉及保密性的应用场景中。

根据Ardoino的观点,解决方案并不是依赖越来越庞大的通用AI模型。相反,他认为翻译是一个小型专用模型可以超越“巨人”的领域。

在他看来,如果任务是将一种语言翻译成另一种语言,就没有必要使用一个可以写诗、总结文章并执行一打不相关任务的大型模型。对于翻译而言,一个专门为单一目的构建的模型可以更小、更快且更可靠。

Tether CEO Paolo Ardoino Advocates for Local Translation Models on Small Devices插图

超越大型LLM

Ardoino指出,通用语言模型在手机和笔记本电脑等边缘设备上的限制。即使是相对较小的模型,也可能消耗大量存储空间,加载时间较长,且用户体验仍然不够流畅。

相比之下,专用神经机器翻译模型可以显著更轻,通常只有几十兆字节的大小,加载时间在毫秒级别,翻译速度远快于大型模型。在Ardoino看来,这一差异不仅仅是技术琐事,而是改变了真实用户在真实设备上的可能性。

这种以隐私为中心的论点是QVAC项目推动的核心思想。他在文章中讨论了这个项目。其理念是使翻译完全本地化,让整个过程在用户的手机、笔记本电脑或嵌入式硬件上进行,无需云请求。

Tether CEO Paolo Ardoino Advocates for Local Translation Models on Small Devices插图1

无需第三方查看文本。对于Follow合规性的用户和开发者而言,这也意味着更少的数据处理麻烦、更少的跨境传输问题和更少的安全疑虑。Ardoino还阐述了团队为何选择这一方向。

他们早期的翻译工作依赖于Opus-MT模型,虽然有效,但在移动设备上的速度和大小不尽如人意。覆盖范围也是一个问题。如果某对语言尚未可用,训练新的模型将需要额外的工作。

实用的桥接策略

Ardoino将其称为一种实用的桥接策略。如果需要快速推出新的语言对,可以首先部署一个较大的模型,同时并行训练一个专用翻译模型。这样,用户能够立即获得支持,用户体验可以随着较小模型的替换而逐步改善。

文章中的另一个主题是批量翻译。Ardoino表示,一旦团队超越演示,开始考虑文档、聊天记录和多句输入等生产用例,批量翻译便显得尤为重要。

0 comment A文章作者 M管理员
    No Comments Yet. Be the first to share what you think
Profile
Search
🇨🇳Chinese🇺🇸English