Введение в векторные базы данных и RAG системы

Введение в векторные базы данных. Виды данных по их структуре.

Обзор трёх типов данных — структурированных, полуструктурированных и неструктурированных — с примерами баз данных для каждого типа и объяснением роли векторных баз данных в работе с неструктурированными данными.

Структура векторной базы данных и что в ней хранится

Обзор типов данных в реляционных, документо-ориентированных и векторных базах данных: структурированные таблицы, JSON-документы и хранение неструктурированных данных в виде эмбеддингов с метаданными и контекстом.

Что такое embedding и embedding модели

Объяснение концепции эмбеддингов в векторных базах данных: как объекты (текст, изображения, аудио) преобразуются в числовые векторы с помощью AI-моделей и сохраняются в многомерном пространстве для последующего поиска.

Как происходит поиск в векторной базе данных

Можно ли хранить вектора в релеационных базах данных

Зачем для работы с большими AI моделями нужна векторная база данных

Об языке программирования для векторных баз данных и примеры векторных баз данных

Понятие RAG систем

Векторные базы данных применяются в рекомендательных системах, поиске похожих товаров и статей, а также в RAG-системах (Retrieval Augmented Generation). Они помогают находить релевантные данные и интегрируются с большими языковыми моделями (LLM), такими как ChatGPT, для эффективной обработки запросов. Это снижает затраты на работу с LLM, расширяя возможности обработки информации.

Чем хорош формат markdown. Почему он популярен для AI

Материал объясняет, почему формат Markdown стал стандартом для работы с системами искусственного интеллекта и RAG-системами. Рассматриваются ключевые преимущества формата: простота структуры, экономия токенов, универсальная совместимость с инструментами и удобство разбивки текста на чанки.

Embedding модель - узкое горлышко RAG системы

Виды embedding моделей по способу запуска. Hugging Face. Ollama

Пример получения embedding с помощью OpenAi и Python

Пакет для рассчета количества токенов

Почему для LLM модели большой контекст - это плохо

Что такое chunks в RAG системах и зачем они нужны

О параметрах chunk_size и chunk_overlap

О важности метаданных в чанках

Пример выгрузки базы знаний из множества файлов в одну переменную

Пример преобразования чанков и сохранения их в векторной базе данных Chroma

Пример визуализации векторной базы данных

Пример поиска по векторной базе данных и выдача контекста LLM модели