Как мультимодальные модели научились понимать товар, а не картинку

Почему одной фотографии недостаточно, чтобы понять товар? В статье прослеживают эволюцию моделей электронной коммерции. Они прошли путь от визуального поиска и CLIP к мультимодальным представлениям.

Сначала системы искали похожие изображения, теперь модели понимают товар, а не просто картинку. Авторы объясняют, почему визуального поиска стало мало для задач e-commerce.

Как следует из статьи, именно поэтому одной фотографии для понимания товара недостаточно. В итоге модели вышли за рамки простого поиска по картинке.