Учёные проверили, понимают ли видео-модели постоянство предметов

Международная группа исследователей с участием Carnegie Mellon University выпустила датасет WROP - полтора миллиона примеров на способность понимать, что предмет не исчезает, если пропал из кадра. Это базовый навык, который развивается у человека в младенчестве, но плохо даётся генеративным видео-моделям. Из четырнадцати проверенных моделей собственная модель авторов заняла третье место, показав, что задача ещё далека от решения.

Что это значит для бизнеса

Пока это фундаментальное исследование без прямого применения в звонках или CRM, но именно такие пробелы в базовой логике моделей объясняют, почему ИИ-сотрудника нужно тестировать на реальных диалогах, а не верить общим бенчмаркам.

Пока это короткий пересказ по источнику. Полный разбор редакции появится позже.