Что такое модели эмбеддингов

Как работают эмбеддинги

Объекты со схожим смыслом или назначением обычно оказываются близко друг к другу в векторном пространстве. Сходство измеряют, например, косинусной мерой:

$\operatorname{cos}(a,b)=\frac{a\cdot b}{\lVert a\rVert\lVert b\rVert}$

Чем выше значение, тем сильнее сходство направлений векторов. Также применяют евклидово расстояние и другие метрики.

Эмбеддинги используют для:

• семантического поиска по текстам и товарам;
• поиска похожих документов, изображений или объектов;
• рекомендаций;
• кластеризации;
• классификации и определения тональности;
• поиска по базе знаний в RAG-системах.

Сама модель эмбеддингов обычно не классифицирует объекты по категориям. Она создаёт представление, которое затем используют поиск, алгоритм кластеризации или отдельный классификатор. Исключение — модели, специально обученные одновременно выдавать классы и векторы признаков.

Как классифицируют эмбеддинг-модели

По типу данных

• Текстовые — кодируют слова, предложения, запросы, статьи и документы.
• Изображений — представляют визуальное содержание фотографий, товаров или иллюстраций.
• Мультимодальные — помещают разные типы данных, например текст и изображение, в общее пространство. Поэтому запрос «красные кроссовки» можно сопоставить с подходящей фотографией.
• Пользовательские и товарные — описывают интересы пользователя, свойства товара и историю взаимодействий для рекомендаций.
• Графовые — кодируют узлы, связи и структуру графа.
• Временных рядов и других последовательностей — представляют сигналы, события или последовательности действий.

По размеру объекта

У текстовых моделей выделяют эмбеддинги слов, предложений, фрагментов и документов. Современные модели чаще работают с контекстом: вектор слова или фразы зависит от окружающего текста. Для длинного документа модель может сначала обработать отдельные фрагменты, а затем объединить их представления.

По зависимости от контекста

Статические модели присваивают одному слову один вектор. Так работают Word2Vec и GloVe: слово с несколькими значениями получает единое представление.

Контекстные модели формируют вектор с учётом окружения. Поэтому слово «коса» в выражениях «девичья коса» и «острая коса» может получить разные представления. К этой группе относятся модели на основе трансформеров, включая BERT-подобные архитектуры.

По способу обучения и архитектуре

• Word2Vec учится предсказывать слово по окружению или окружение по слову.
• GloVe использует статистику совместной встречаемости слов в корпусе.
• BERT и похожие трансформеры учитывают контекст с обеих сторон.
• Sentence-BERT и другие bi-encoder-модели оптимизированы для быстрого сравнения предложений и документов.
• Автоэнкодеры сжимают данные в компактное скрытое представление.
• CNN и vision-трансформеры часто применяются для изображений.
• CLIP-подобные модели обучаются связывать текстовые описания с изображениями.

Как выбрать модель

Ориентируются не только на название архитектуры, но и на задачу: язык и тематику данных, поддерживаемый размер контекста, размерность вектора, скорость, стоимость, качество на собственных примерах и подходящую метрику сходства. Модель для общего семантического поиска может плохо работать с юридическими, медицинскими или техническими текстами без дополнительной проверки.