Получаем ответы от OpenAI в виде stream потока

Следующий метод в пакете openai, который мы рассмотрим, - метод stream. Здесь всё достаточно просто.

Чем stream отличается от create

Когда мы делали запрос к модели OpenAI методом create, ответ не приходил до тех пор, пока весь ответ от OpenAI не был получен полностью. Дальнейшее выполнение программы блокировалось, и пока ответ не пришёл, в output_text ничего не выводилось.

Бывают ситуации, когда так не годится. Например, мы разрабатываем онлайн-чат, и посетителям важно видеть, как проходит выполнение запроса к LLM-модели. В этом случае можно воспользоваться методом stream.