AsyncOpenAI и использование сторонних моделей

Бесплатный фрагмент урока

Фрагмент закончился

Полный урок открывается по подписке на курс

Как получить доступ

В предыдущих примерах мы создавали синхронный клиент OpenAI. В этом видео посмотрим, как создавать и вызывать асинхронный клиент AsyncOpenAI и как сделать так, чтобы наши агенты могли использовать сторонние модели, а не только модели OpenAI.

Синхронный и асинхронный клиент

В примерах, которые мы рассматривали раньше, вызывался обычный клиент OpenAI, и он был синхронным. Если к LLM-модели нужно обращаться в асинхронном режиме, импортируем клиент AsyncOpenAI.

Синхронный клиент делает запросы к модели последовательно: три запроса - это три ожидания подряд. Асинхронный клиент отправляет их одновременно, и обработка идёт быстрее, потому что запросы выполняются параллельно.

Дальше в уроке

  • Два уровня асинхронности: Runner и клиент
  • Почему чужая модель строкой даёт 404
  • Сторонняя модель: AsyncOpenAI с base_url и OpenAIChatCompletionsModel
  • Несколько провайдеров в одной программе

Как получить доступ к полному уроку

Урок входит в программу "AI инжиниринг": доступ ко всем её курсам на 1 год - 5000 ₽ (стоимость в других валютах можно уточнить у автора).

Войдите / зарегистрируйтесь на сайте, чтобы получить данные для оплаты.