Способы снизить риск агентских систем

Продолжаем разбираться с рисками агентских систем. В предыдущих видео мы посмотрели, как с помощью Workflow снизить вероятность плохих ответов. Здесь разберём ещё несколько способов.

Напомню риски: шаги агента каждый раз разные, ответы отличаются от запуска к запуску, цена каждый раз разная, модель галлюцинирует и выдаёт не те ответы. Это обратная сторона гибкости AI-агентов: агент решает задачу разными способами и получает разные результаты.

1. Задача и метрика

Когда нам ставят задачу, её нужно сначала определить, а затем задать метрики, по которым будет видно, насколько эффективно она решена. Например, просят сделать AI-агента для чата магазина. Мы можем сделать агента, но стало ли работе компании лучше или хуже, сказать не получится. Через месяц заказчик скажет, что агент отвечает не так, и всё придётся переделывать.