Работа с локальными моделями

Что такое Huggingface и как им пользоваться?

Hugging Face — глобальная платформа-репозиторий для инструментов искусственного интеллекта, аналог GitHub для ML-сообщества. В материале описаны основные разделы платформы: модели, датасеты, Spaces, а также варианты доступа и тарифные планы.

Немного о выборе модели на Huggingface

Обзор методов поиска и фильтрации LLM-моделей на платформе Hugging Face. Рассматриваются ключевые критерии выбора: тип задачи, количество параметров для разных конфигураций оборудования и выбор библиотеки (Transformers, GGUF) в зависимости от целей использования.

О способах разворачивания локальных LLM моделей

Способы запустить языковую модель на своём компьютере: баланс между скоростью, железом и задачами.

Несколько слов о разворачивании моделей с помощью Transformers

Библиотека Transformers от Hugging Face: запуск моделей без квантизации и требования к объёму видеопамяти.

Почему Nvidia видеокарты стали стандартом для AI

Видеокарта для локального запуска языковых моделей: почему Nvidia стала отраслевым стандартом.

Подробнее о запуске LLM моделей с помощью библиотеки Transformers

Несколько слов о gguf LLM моделях

Какую степень сжатия использовать для GGUF моделей

Пример скрипта для запуска gguf модели

Ollama. Клиент для запуска AI моделей для не технарей.

Установка и настройка Ollama для локального запуска AI моделей на своём компьютере. Выбор моделей, чат-интерфейс, работа на процессоре без сложной конфигурации.