KInIT: vysoké skóre ešte neznamená, že multimodálna AI naozaj rozumie obrázkom

Zdrojom je príspevok KInIT s dátumom „Oct 20. 2026“ a názvom „When AI thinks it understands pictures and text: what modern multimodal models can (and cannot) do“. Autorka v ňom píše, že jej doktorandský výskum sa sústredil na medzeru medzi dojmom, že porozumenie obrazu a textu je už vyriešené, a realitou, v ktorej sú multimodálne modely od skutočného prepájania obrazu a textu ešte ďaleko. Ide teda o zdokumentovaný súhrn výskumu od samotnej výskumníčky, nie o nezávislé porovnanie dodané treťou stranou.

Autorka opisuje, že bežné benchmarky často testujú model tak, že má pri jednom obrázku vybrať správny popis len z dvoch možností: jednej správnej a jednej zámerne zmenenej. Vo svojom výskume preto zmenila perspektívu na retrieval, teda úlohu, v ktorej má model nájsť najlepšie sediaci text v celej databáze tisícov viet. Práve tam sa podľa nej ukázalo, že výsledky zo zjednodušených testov môžu preceňovať skutočné porozumenie.

Kľúčový kontrast v texte je číselný, no treba ho čítať ako tvrdenie autorky o skúmaných modeloch. Píše: „On the classic two-option tests, the models we studied picked the correct sentence in eight or nine cases out of ten.“ Hneď nato dodáva, že pri úlohe nájsť zhodný text medzi tisíckami kandidátov „the models succeeded in only about one case out of ten“. Zároveň vysvetľuje, že model často našiel významovo podobný výsledok, ale mýlil sa v akcii alebo vo vzťahu medzi objektmi.

Beňová ďalej tvrdí, že modely zvládajú najlepšie subjekty, horšie objekty a ešte horšie slovesá a vzťahy. V texte to formuluje priamo: „subjects (who?) are the easiest for the models, objects (whom? what?) are much harder, verbs and relations (what is he or she doing?) are even harder.“ Na tomto základe viaže praktický dosah na oblasti ako image search, content moderation, multimodálni asistenti a fact-checking. Hranica platnosti je dôležitá: nejde o dôkaz, že všetky multimodálne modely zlyhávajú rovnako, ale o výskumné zistenia opísané v súhrne KInIT.

Text opisuje aj metodický problém hodnotenia. Pri retrievale sa ukázalo, že nie každý výsledok označený klasickou metrikou za chybu je naozaj sémanticky nesprávny. Preto autorka zapojila ľudských anotátorov a aj ďalší veľký model ako rozhodcu pre dvojice obrázok–popis. Podľa článku sa tak ukázalo, že skutočná kvalita mohla byť lepšia, než naznačovali tvrdé benchmarkové čísla. To je dôležité skôr ako poznámka k metodike hodnotenia než ako finálny verdikt o schopnostiach celej triedy modelov.

KInIT v závere sumarizuje výstupy práce takto: „the research produced three published papers, four papers currently under review, and a publicly available dataset and code.“ Článok menuje aj konkrétne línie: guided masking, CV-Probes, retrieval-based evaluation, test „who does what to whom“ a aplikácie vo fact-checkingu. Keďže časť z nich je podľa textu ešte „under review“, najbezpečnejšie je hovoriť o zdokumentovanom výskumnom programe a jeho priebežných výstupoch, nie o úplne uzavretom externom potvrdení všetkých záverov.