Как с помощью пакета openai запускать локальные модели Ollama

Пакет openai позволяет обращаться не только к сторонним моделям, которые работают в облаке, но и к локальным - например, запущенным с помощью утилиты Ollama.

Установка Ollama и модели

Как установить Ollama, подробно рассказано в уроке «Ollama. Клиент для запуска AI моделей для не технарей»: скачиваем установщик с сайта и ставим модель. В примере это qwen3:4b-instruct. Можно взять любую другую модель, которую потянет ваш компьютер.

Берём именно instruct-версию: тег qwen3:4b - это Thinking-модель, она очень долго размышляет перед ответом, и на слабом процессоре ответ может занимать минуты.