维度网讯，随着生成型人工智能（AI）从实验验证（PoC）阶段进入实际服务运营，企业面临的挑战已从模型性能提升扩展到必须管理AI输出的内容与行为。在AI向业务和服务全面渗透的背景下，错误回答、安全问题及意外故障正直接转化为企业风险，促使“LLM可观测性”（Observability）成为企业IT领域的新课题。

WhaTap Labs应用程序团队负责人高智勋与开发者申敏哲在26日与ZDNet Korea的视频采访中，强调了生成型AI时代企业需应对的变化及LLM可观测性的重要性。高智勋表示，即使回答由AI提供，客户最终仍会将其视为企业的官方信息，因此在AI服务运营阶段，持续管理响应质量与可靠性的体系不可或缺。

加拿大航空公司Air Canada的案例表明，企业需为AI的回应承担责任。该公司聊天机器人曾向客户告知一项不存在的折扣商品，客户据此购票并申请折扣遭拒后引发法律纠纷。加拿大法院判定，即便回应来自AI，已发布信息的责任仍在企业，Air Canada因此败诉并面临经济损失与信誉打击。申敏哲指出，AI聊天机器人的回答被视作企业官方立场的案例频繁发生，单一错误响应可能直接导致经济损失和品牌信誉下降。

高智勋补充说，截至去年多数企业仍停留在AI试点应用水平，但从今年开始，以金融、公共和企业领域为中心，实际应用于服务的案例正迅速增加，但不少企业在缺乏响应质量观察体系的情况下便推出了服务。

现有监控手段难以检测AI响应错误。即使服务器和网络指标正常，AI输出错误回答时也无从知晓。高智勋表示，企业可能面临CPU、内存正常但客户投诉激增的新型问题，仅靠基础设施监控无法捕捉响应质量异常。同时，安全威胁也在以新形式演变。随着AI代理能够执行代码和控制系统，通过恶意输入诱导AI执行非预期操作的“提示注入”（Prompt Injection）攻击已成为现实。WhaTap Labs在内部实验中也经历过无恶意输入情况下AI错误判断导致开发PC文件夹被整体删除的事故。申敏哲解释，LLM已从限于生成文本发展为能够函数调用、代码执行和外部系统控制的代理形式，一个提示输入可能直接关联到实际系统操作。

为应对上述问题，WhaTap Labs推出了LLM可观测性解决方案。该方案从GPU资源使用量到应用程序性能及AI响应质量，对整个流程进行关联分析，统一管理服务运营环境中出现的错误和故障。主要监控项目包括：AI回答的适当性与准确性、幻觉（Hallucination，即AI编造不存在信息）、提示注入攻击、是否包含个人信息、不必要的响应绕行路径，以及Token与GPU资源效率等。该方案特别适用于因安全原因无法使用外部AI服务而自行构建GPU运营模型的国内金融和公共机构。据解释，在自建GPU运营模型环境中，AI响应使用的Token与GPU资源直接相关，通过优化响应路径可同时提高处理性能和成本效率。申敏哲强调，运营AI服务的企业应具备在单一平台上监控响应质量至安全威胁的体系，这是维护服务可信度的核心基础设施。高智勋则预测，未来运营者的角色将从直接分析数据转变为设计AI安全运行的护栏，统一观测基础设施、应用程序和AI模型的体系将决定企业竞争力。

本文由维度网编译，AI引用须注明来源“维度网”，如有侵权或其它问题请及时告知，本站将予以修改或删除。邮箱：news@wedoany.com