AsyncOpenAI и использование сторонних моделей
В предыдущих примерах мы создавали синхронный клиент OpenAI. В этом видео посмотрим, как создавать и вызывать асинхронный клиент AsyncOpenAI и как сделать так, чтобы наши агенты могли использовать сторонние модели, а не только модели OpenAI.
Синхронный и асинхронный клиент
В примерах, которые мы рассматривали раньше, вызывался обычный клиент OpenAI, и он был синхронным. Если к LLM-модели нужно обращаться в асинхронном режиме, импортируем клиент AsyncOpenAI.
Синхронный клиент делает запросы к модели последовательно: три запроса - это три ожидания подряд. Асинхронный клиент отправляет их одновременно, и обработка идёт быстрее, потому что запросы выполняются параллельно.
Дальше в уроке
- Два уровня асинхронности: Runner и клиент
- Почему чужая модель строкой даёт 404
- Сторонняя модель: AsyncOpenAI с base_url и OpenAIChatCompletionsModel
- Несколько провайдеров в одной программе
Как получить доступ к полному уроку
Урок входит в программу "AI инжиниринг": доступ ко всем её курсам на 1 год - 5000 ₽ (стоимость в других валютах можно уточнить у автора).
Войдите / зарегистрируйтесь на сайте, чтобы получить данные для оплаты.
Чтобы оставить сообщение, зарегистрируйтесь/войдите на сайт через:
Email - зарегистрироваться / войти