Retrieval-Augmented Generation (RAG): Виды, Типы и Примеры

RAG позволяет генерировать текст, основанный на актуальной информации из внешних источников. Это делает систему мощным инструментом для обработки данных в реальном времени, предоставления точных ответов и генерации контента.

Принципы работы RAG

Основная идея RAG заключается в объединении двух этапов:

1. Retrieval (извлечение): Система извлекает релевантную информацию из внешних баз данных или поисковых индексов.
2. Generation (генерация): Языковая модель обрабатывает полученные данные и создает ответ, который может быть кратким, развернутым или творческим.

Ключевые компоненты RAG

• Информационно-поисковая система: отвечает за поиск релевантных данных (например, Elasticsearch, Dense Passage Retrieval).
• Языковая модель: генерирует текст, используя информацию, полученную на этапе извлечения.
• База данных: источник информации, который может быть открытым (Wikipedia) или закрытым (корпоративные базы данных).

Виды RAG

1. Open-Domain RAG (открытая область)

Описание: Работает с широким кругом тем и баз данных, что позволяет отвечать на вопросы общего характера.
Пример:
Вопрос: "Какова площадь Австралии?"

• Этап извлечения: Система находит информацию в открытых источниках, например в Wikipedia.
• Этап генерации: Модель создает ответ: "Площадь Австралии составляет около 7,692,000 квадратных километров."

Области применения:

• Энциклопедические вопросы.
• Поисковые системы (например, Google Bard).

2. Domain-Specific RAG (специализированная область)

Описание: Разработан для работы с узкими областями знаний, такими как медицина, юриспруденция или финансы.
Пример:
Вопрос: "Какие основные симптомы диабета 2 типа?"

• Этап извлечения: Система извлекает данные из медицинских баз, например PubMed.
• Этап генерации: Создается ответ: "Основные симптомы диабета 2 типа включают жажду, частое мочеиспускание, усталость и потерю веса."

Области применения:

• Диагностические системы.
• Корпоративные базы знаний.

3. Real-Time RAG (реального времени)

Описание: Используется для задач, требующих работы с актуальной информацией, например, для новостей.
Пример:
Вопрос: "Какие события происходят на климатическом саммите COP?"

• Этап извлечения: Система анализирует новостные сайты и базы.
• Этап генерации: "На COP сегодня обсуждают сокращение выбросов парниковых газов к 2030 году."

Области применения:

• Журналистика.
• Финансовая аналитика в реальном времени.

4. Conversational RAG (диалоговые системы)

Описание: Ориентирован на диалоговые системы, такие как чат-боты.
Пример:
Клиент: "Могу ли я вернуть товар после 30 дней?"

• Этап извлечения: Извлекаются данные из политики возврата компании.
• Этап генерации: "Возврат товара возможен в течение 30 дней, если он сохранил товарный вид."

Области применения:

• Обслуживание клиентов.
• Виртуальные ассистенты.

Типы RAG по способу реализации

1. Hard Retrieval (жёсткое извлечение)

• Описание: Основан на строгих поисковых критериях, таких как ключевые слова.
• Пример: Алгоритм BM25.

Преимущества:

• Простота реализации.
• Высокая точность для строго заданных запросов.

Недостатки:

• Неэффективен для сложных или неявных запросов.

2. Soft Retrieval (мягкое извлечение)

• Описание: Использует нейросетевые алгоритмы для поиска, которые понимают контекст.
• Пример: Dense Passage Retrieval (DPR).

Преимущества:

• Понимание семантики запроса.

Недостатки:

• Требуются большие вычислительные мощности.

3. Hybrid Retrieval (гибридное извлечение)

• Описание: Комбинация жёсткого и мягкого поиска.
• Пример: Одновременное использование BM25 и нейросетей.

Преимущества:

• Универсальность.

Недостатки:

• Увеличенная сложность настройки.

4. Knowledge-Base RAG (на основе баз знаний)

• Описание: Ориентируется на заранее подготовленные базы знаний.
• Пример: Использование Wikidata.

Преимущества:

• Структурированная информация.

Недостатки:

• Ограничения в обновляемости данных.

Типы генерации в RAG

1. Extractive Generation (извлечение)

• Описание: Отвечает на вопросы, практически не изменяя текст из источника.
• Пример:
  Запрос: "Приведите цитату из речи Мартина Лютера Кинга."
  Ответ: "У меня есть мечта, что мои четверо детей будут жить в стране, где их будут судить не по цвету кожи, а по их характеру."

2. Abstractive Generation (абстракция)

• Описание: Перефразирует и обобщает информацию из источника.
• Пример:
  Запрос: "Что такое квантовая механика?"
  Ответ: "Квантовая механика — это раздел физики, изучающий поведение частиц на субатомном уровне."

Примеры применения RAG

1. Медицина: Генерация рекомендаций на основе медицинских исследований.
2. Юриспруденция: Подготовка юридических документов с использованием извлечённых данных.
3. Образование: Автоматизированные ответы на учебные вопросы.
4. Маркетинг: Генерация уникального контента для продвижения.
5. Финансы: Анализ и обобщение рыночных данных.

Техническая реализация RAG

Архитектура RAG

RAG состоит из нескольких ключевых этапов, каждый из которых может быть реализован с использованием определённых технологий и библиотек:

1. Индексация данных (Indexing):
   • Описание: Процесс структурирования и сохранения документов, чтобы они были быстро доступны для поиска.
   • Реализация: Используются системы, такие как:
     • Elasticsearch: Для работы с текстами и создания обратных индексов.
     • FAISS (Facebook AI Similarity Search): Для Dense Retrieval, индексации эмбеддингов.
2. Извлечение информации (Retrieval):
   • Описание: Поиск релевантных документов в базе данных на основе запроса.
   • Реализация:
     • Hard Retrieval: BM25, TF-IDF.
     • Soft Retrieval: Dense Passage Retrieval (DPR), Sentence-BERT.
     • Гибридный подход: Комбинация жёсткого поиска с использованием нейронных эмбеддингов.
3. Генерация текста (Generation):
   • Описание: Языковая модель использует найденную информацию для создания ответа.
   • Реализация:
     • Hugging Face Transformers (модели, такие как GPT, BART, T5).
     • OpenAI API для моделей GPT-3.5/4.
4. Интеграция компонентов:
   • Описание: Организация взаимодействия между Retrieval и Generation.
   • Реализация:
     • LangChain: Фреймворк для создания сложных NLP-пайплайнов.
     • Haystack: Инструмент для построения RAG-пайплайнов.

Пример архитектуры RAG

Шаги реализации:

1. Подготовка данных:
   • Форматируем данные для индексации (JSON, CSV).
   • Используем инструмент для создания эмбеддингов, например sentence-transformers.
2. Обучение Retrieval-модели:
   • Используем модель, обученную на похожих задачах, например DPR.
   • Настраиваем модель под конкретный домен (например, медицинский).
3. Интеграция генеративной модели:
   • Устанавливаем T5 или GPT.
   • Настраиваем модель для обработки и генерации ответов на основе retrieved данных.
4. Сборка пайплайна:
   • Объединяем Retrieval и Generation через LangChain или Haystack.
5. Тестирование и оптимизация:
   • Проверяем пайплайн на точность и производительность.
   • Оптимизируем ключевые параметры, такие как top_k для Retrieval.

Технический стек

Метрики для генерации текста

1. BLEU (Bilingual Evaluation Understudy):
   • Оценивает совпадение между сгенерированным текстом и эталонным (референсным).
   • Применение: для задач, где важна формулировка текста.
2. ROUGE (Recall-Oriented Understudy for Gisting Evaluation):
   • Анализирует пересечение слов, фраз или предложений между сгенерированным текстом и референсом.
   • Варианты:
     • ROUGE-1: Совпадение отдельных слов.
     • ROUGE-2: Совпадение биграмм.
     • ROUGE-L: Совпадение длиннейшей общей последовательности (Longest Common Subsequence).
3. METEOR (Metric for Evaluation of Translation with Explicit ORdering):
   • Учитывает синонимы и морфологические формы слов.
4. BERTScore:
   • Оценивает сходство эмбеддингов между сгенерированным текстом и эталоном.
5. Human Evaluation (Человеческая оценка):
   • Оценка текстов экспертами по параметрам:
     • Качество: Правильность и полнота ответа.
     • Понятность: Насколько текст понятен пользователю.
     • Естественность: Насколько текст похож на человеческий.

Этапы оценки

1. Тестирование Retrieval: Сравнение извлечённых документов с ожидаемыми.
2. Оценка генерации: Использование BLEU, ROUGE и других метрик для анализа качества текста.
3. Интегрированная оценка RAG:
   • End-to-End Accuracy: Доля полностью корректных ответов.
   • Latency: Время ответа системы.

Пример оценки системы

Запрос: "Что такое квантовая механика?"
Референс: "Квантовая механика — раздел физики, изучающий поведение частиц на атомном и субатомном уровнях."

Сгенерированный ответ: "Квантовая механика изучает микроскопические явления, такие как движение атомов и электронов."

1. Precision (для Retrieval): 90% (9 из 10 документов релевантны).
2. BLEU: 0.82 (82% пересечений с референсом).
3. ROUGE-L: 0.85 (длиннейшая общая последовательность совпала на 85%).
4. Human Evaluation: 4.5/5 (высокая точность, но есть отклонение в формулировке).

Примеры кода для реализации RAG

Приведу два примера: первый — базовая интеграция Retrieval и Generation с использованием популярных библиотек, второй — более сложный с кастомизацией.

Пример 1: Базовая реализация RAG с использованием Haystack

# Установка необходимых библиотек
!pip install farm-haystack[all] sentence-transformers

from haystack.document_stores import FAISSDocumentStore
from haystack.nodes import DenseRetriever, GenerativeReader
from haystack.pipelines import GenerativeQAPipeline

# Шаг 1: Инициализация хранилища данных
document_store = FAISSDocumentStore(embedding_dim=768)

# Шаг 2: Загрузка документов в хранилище
documents = [
    {"content": "Квантовая механика — это раздел физики, изучающий поведение атомов и субатомных частиц."},
    {"content": "Эйнштейн разработал теорию относительности, описывающую гравитацию как искривление пространства-времени."}
]
document_store.write_documents(documents)

# Шаг 3: Настройка Retriever (модель для извлечения документов)
retriever = DenseRetriever(
    document_store=document_store,
    embedding_model="sentence-transformers/multi-qa-mpnet-base-dot-v1"
)
document_store.update_embeddings(retriever)

# Шаг 4: Настройка Generative Reader (модель для генерации текста)
reader = GenerativeReader(
    model_name_or_path="google/flan-t5-base",
    use_gpu=True
)

# Шаг 5: Создание пайплайна
pipeline = GenerativeQAPipeline(retriever=retriever, reader=reader)

# Шаг 6: Задача вопроса
query = "Что изучает квантовая механика?"
result = pipeline.run(query=query, params={"Retriever": {"top_k": 2}, "Reader": {"top_k": 1}})

# Вывод ответа
print(f"Ответ: {result['answers'][0].answer}")

Пример 2: Кастомизация с использованием LangChain

LangChain позволяет гибко создавать пайплайны для RAG. В этом примере используется FAISS для Retrieval и OpenAI GPT для генерации.

# Установка необходимых библиотек
!pip install langchain faiss-cpu openai sentence-transformers

from langchain.vectorstores import FAISS
from langchain.embeddings import SentenceTransformerEmbeddings
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

# Шаг 1: Создание базы данных документов
documents = [
    {"content": "Квантовая механика изучает поведение атомов и субатомных частиц."},
    {"content": "Теория относительности описывает взаимодействие пространства и времени."},
    {"content": "Электромагнетизм объединяет электричество и магнетизм."}
]

# Создание эмбеддингов
embeddings = SentenceTransformerEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")

# Настройка FAISS хранилища
vectorstore = FAISS.from_texts(
    texts=[doc["content"] for doc in documents],
    embedding=embeddings
)

# Шаг 2: Настройка модели генерации
llm = OpenAI(model="text-davinci-003", temperature=0.7)

# Шаг 3: Создание Retrieval QA цепочки
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
    return_source_documents=True
)

# Шаг 4: Задача вопроса
query = "Что изучает квантовая механика?"
result = qa_chain.run(query)

# Вывод результата
print("Ответ:", result)

Объяснение примеров:

1. Пример 1: Использует Haystack, который упрощает интеграцию Retrieval и Generation. Здесь модель Flan-T5 генерирует ответы на основе данных, извлечённых Retriever.
2. Пример 2: Демонстрирует кастомизацию с LangChain, включая возможность замены Retrieval и Generation-компонентов на любые другие.

Пример использования метрик для оценки качества Retrieval

from sklearn.metrics import precision_score, recall_score, f1_score

# Истинные релевантные документы
true_relevant = [1, 1, 0, 0, 1]  # 1 - релевантный, 0 - нерелевантный

# Документы, найденные Retrieval-моделью
predicted_relevant = [1, 0, 0, 1, 1]

# Precision
precision = precision_score(true_relevant, predicted_relevant)
print("Precision:", precision)

# Recall
recall = recall_score(true_relevant, predicted_relevant)
print("Recall:", recall)

# F1-Score
f1 = f1_score(true_relevant, predicted_relevant)
print("F1-Score:", f1)

Эти примеры показывают, как можно внедрить RAG и оценить её качество, начиная от базового пайплайна до кастомизированного решения.

Nerd IT 🌀 ML, DS, ANN, GPT

Привет! Меня зовут Семён, я работаю в сфере ML и аналитики данных и пишу в блог nerdit.ru статьи о своем опыте и том, что может пригодиться начинающим в начале их пути изучения больших данных.

Telegram