估值超过40亿美元的AI初创公司Hugging Face近日推出了开源Python库FastRTC，旨在为开发人员简化实时音频和视频AI应用程序的构建过程。FastRTC的创建者之一弗雷迪·博尔顿(Freddy Boulton)在X.com上宣布：“用Python构建实时WebRTC和Websocket应用程序非常困难，直到现在。”

WebRTC技术支持浏览器之间的直接通信，无需插件或下载即可共享音频、视频和数据。尽管WebRTC对于现代语音助手和视频工具至关重要，但其复杂性使得大多数机器学习(ML)工程师难以掌握。

语音AI热潮与技术障碍

语音AI领域吸引了大量关注和资本，例如ElevenLabs最近获得了1.8亿美元的融资，而Kyutai、阿里巴巴和Fixie.ai等公司也发布了专门的音频模型。然而，复杂的AI模型与实时应用程序部署所需的技术基础设施之间仍存在脱节。Hugging Face指出：“ML工程师可能缺乏构建实时应用程序(如WebRTC)所需的经验。”

FastRTC通过自动化功能处理实时通信的复杂部分，解决了这一问题。该库提供语音检测、轮流功能、测试接口，甚至为应用程序生成临时电话号码。

从复杂基础设施到五行代码

FastRTC的主要优势在于其简单性。开发人员只需几行代码即可创建基本的实时音频应用程序，与此前需要数周开发工作的情况形成鲜明对比。这一转变对企业具有重大影响，以前需要专业通信工程师的公司现在可以利用现有的Python开发人员构建语音和视频AI功能。

博尔顿解释道：“您可以使用任何LLM/文本转语音/语音转文本API，甚至是语音转语音模型。带上你喜欢的工具——FastRTC只处理实时通信层。”

AI应用开发的转折点

FastRTC的推出标志着AI应用程序开发的转折点。通过消除技术障碍，该工具为开发人员开辟了新的可能性，尤其是对小公司和独立开发者而言。虽然谷歌和OpenAI等科技巨头拥有构建自定义实时通信基础设施的资源，但大多数组织并不具备这样的能力。FastRTC为这些组织提供了以前仅限专业团队使用的功能。

该库的“说明书”展示了多种应用场景：由各种语言模型驱动的语音聊天、实时视频对象检测以及通过语音命令生成交互式代码。

加速语音优先和视频增强的AI体验

FastRTC的推出正值AI界面从基于文本的交互转向更自然的多模式体验。当今最先进的AI系统可以处理和生成文本、图像、音频和视频，但在实时应用程序中部署这些功能仍然具有挑战性。通过弥合AI模型与实时通信之间的差距，FastRTC不仅简化了开发，还可能加速语音优先和视频增强的AI体验的普及。

对于用户来说，这可能意味着更自然的跨应用程序界面;对于企业来说，这意味着可以更快地实施客户期望的功能。FastRTC解决了技术中的一个经典问题：强大的功能通常未被充分利用，直到主流开发人员能够轻松使用它们。通过简化复杂的工作，Hugging Face消除了复杂AI模型与语音优先应用程序之间的主要障碍。