Что такое Ollama
Один из способов запускать модели искусственного интеллекта на локальном компьютере - специализированная программа Ollama. Найти её можно на сайте ollama.com. Здесь есть инструкции по установке программы и можно посмотреть, какие модели доступны. На сайте представлены основные популярные open source модели, а также документация по сервису.
По умолчанию программа бесплатна - вы можете всё запускать на своём компьютере. Но если нужно запускать мощные модели, возможностей компьютера может не хватить. Для этого существует облачная подписка. Модель монетизации такая: если вы работаете на локальном компьютере - полностью бесплатно. Если хотите запускать более мощные модели в облаке - 20 долларов в месяц. Тариф Max даёт больше возможностей.
Установка
Переходим в раздел Download и скачиваем версию программы под вашу операционную систему. На Windows можно установить через PowerShell, либо скачать установочный файл и запустить его.
Основное преимущество этой программы в том, что вы можете запускать локальные модели без сложной конфигурации. Программа специально сделана для того, чтобы обычный пользователь мог поднимать на своём компьютере модели искусственного интеллекта без специальных технических знаний.
Работа с моделями
После установки у вас открывается окно чата, привычный интерфейс, который мы могли видеть в веб-версии. Всё, что нужно сделать - выбрать модель, которая будет отвечать. Чтобы модель отвечала, её нужно сначала скачать. Попробуем скачать самую простую, на 4B параметров.
В левой панели можно увидеть список всех чатов. В настройках указывается, где будут сохраняться модели - по умолчанию на диске C в папке models, там, где установлена Ollama. Можно войти в свой аккаунт и использовать облачные модели. Есть и другие настройки по контексту.
Производительность
После того как модель скачается, она начинает отвечать. По умолчанию идёт взаимодействие с процессором, и вы увидите, как процессор начинает усиленно работать. Если включён режим thinking, модель начинает "думать". Это достаточно долгий процесс, особенно на слабом компьютере.
После того как модель подумала практически 70 секунд, она написала: "Привет, как я тебе могу помочь?" Таким образом можно запускать лёгкие модели на своём компьютере, которые будут работать за счёт процессора. Выбираете, скачиваете и используете.
