Выбор моделей на Hugging Face
Несколько слов по поводу выбора моделей на Hugging Face. Если вы перейдёте в раздел моделей, то на момент записи этого видео здесь уже более 2 миллионов моделей. Это число с каждым днём растёт. Каким образом мы можем облегчить себе поиск подходящей LLM-модели для каких-то задач?
Для этого нужно использовать фильтры, которые есть в левой части экрана, в левом сайдбаре. Здесь есть раздел главных фильтров, которые мы можем использовать. Если вы будете работать с текстом, ставьте здесь Text Generation. Если у вас какие-то другие задачи, выбирайте соответствующий фильтр. Чаще всего это будет Text Generation.
Параметры и библиотеки
Количество параметров — важный критерий выбора. 500 миллионов или миллиард параметров нам обычно не нужно. 12B, если вы будете запускать на локальном компьютере, — это максимум. 32B — это уже более мощные модели, которые на ноутбуке работать не будут. Для них нужно специализированное оборудование. Обычно 12B достаточно, чтобы найти модели, которые могли бы работать на слабых и средних машинах.
В разделе библиотек: если вы собираетесь обучать какие-то модели, то лучше запускать их через Transformers. Подробнее об этом я расскажу в других видео. Если же вы будете запускать на слабых машинах, ставьте здесь библиотеку GGUF. Этот способ запуска моделей наиболее оптимальный для слабых машин.
Таким образом вы можете выбрать модели, которые можно запустить на слабом локальном компьютере. Также здесь есть более продвинутые фильтры, например, по языкам. Какие языки вам нужно, чтобы поддерживала модель? Лицензия и другое.
