Введение в векторные базы данных и RAG системы

Изучите векторные базы данных и RAG системы: embedding модели, поиск по векторам, работа с Pinecone, OpenAI, Hugging Face, Ollama. Практические примеры на Python для AI-приложений.

Курс входит в программу AI инжиниринг

27 уроков
  • Введение в векторные базы данных. Виды данных по их структуре.
    Обзор трёх типов данных - структурированных, полуструктурированных и неструктурированных - с примерами баз данных для каждого типа и объяснением роли векторных баз данных в работе с неструктурированными данными.
  • Структура векторной базы данных и что в ней хранится
    Обзор типов данных в реляционных, документо-ориентированных и векторных базах данных: структурированные таблицы, JSON-документы и хранение неструктурированных данных в виде эмбеддингов с метаданными и контекстом.
  • Что такое embedding и embedding модели
    Объяснение концепции эмбеддингов в векторных базах данных: как объекты (текст, изображения, аудио) преобразуются в числовые векторы с помощью AI-моделей и сохраняются в многомерном пространстве для последующего поиска.
  • Как происходит поиск в векторной базе данных
  • Можно ли хранить вектора в релеационных базах данных
  • Зачем для работы с большими AI моделями нужна векторная база данных
  • Об языке программирования для векторных баз данных и примеры векторных баз данных
  • Что такое RAG (retrieval augmented generation)?
    Где применяют векторные базы данных: рекомендации, поиск похожих товаров и статей, системы RAG.
  • Чем хорош формат markdown. Почему он популярен для AI
    Материал объясняет, почему формат Markdown стал стандартом для работы с системами искусственного интеллекта и RAG-системами. Рассматриваются ключевые преимущества формата: простота структуры, экономия токенов, универсальная совместимость с инструментами и удобство разбивки текста на чанки.
  • Embedding модель - узкое горлышко RAG системы
  • Виды embedding моделей по способу запуска. Hugging Face. Ollama
  • Пример получения embedding с помощью OpenAi и Python
  • Пакет для рассчета количества токенов
  • Почему для LLM модели большой контекст - это плохо
  • Что такое chunks в RAG системах и зачем они нужны
  • О параметрах chunk_size и chunk_overlap
  • О важности метаданных в чанках
  • Пример выгрузки базы знаний из множества файлов в одну переменную
  • Пример преобразования чанков и сохранения их в векторной базе данных Chroma
  • Пример визуализации векторной базы данных
  • Пример поиска по векторной базе данных и выдача контекста LLM модели
  • Рекомендации по выбору размера chunk_size и chunk_overlap для разного типа контента
  • О сложности оценки работы RAG системы
  • Метрика MRR для оценки качества ответов RAG
  • Метрика nDCG
  • Метрика покрытия ключевых слов
  • Пример скрипта для оценки RAG системы

Как получить доступ?

Курс входит в программу "AI инжиниринг", доступ на 1 год

Стоимость: 5000 ₽ (стоимость в других валютах можно уточнить у автора)

Войдите / зарегистрируйтесь на сайте, чтобы получить данные для оплаты

Что еще добавить в этот курс? Каких уроков вам не хватило?