Porównanie modeli ZIT, Krea2T i Ideogram 4 w złożonych scenach

Wyobraź sobie ring bokserski, na którym trzy modele AI stają do walki o tytuł mistrza wizualnej wyobraźni. ZIT, Krea2T i Ideogram 4 zmierzyły się w jednym z najtrudniejszych testów, jakie można im zgotować: złożonych scenach z niestandardowymi ruchami postaci. To właśnie tam modele najczęściej się potykają, generując pokręcone kończyny i fizycznie niemożliwe pozy. Ktoś postanowił jednak nie polegać na subiektywnym "ładnie wygląda", lecz sięgnął po system oceny DreamSim, który obiecuje obiektywne porównanie wyników. Brzmi jak przepis na test, który naprawdę coś znaczy.

I tu właśnie wkracza sceptyk z zimnym prysznicem. DreamSim mierzy podobieństwo wizualne, ale czy podobieństwo to to samo co jakość? Model może wiernie odwzorować kompozycję, jednocześnie serwując anatomiczny koszmar. Poza tym jedno porównanie przeprowadzone przez jednego użytkownika, z nieznaną liczbą promptów i nieokreślonymi kryteriami doboru scen, to ciągle bardziej ciekawostka niż miarodajny benchmark. Zanim ogłosimy zwycięzcę tej potyczki, warto zapytać: czy test był wystarczająco rozległy, żeby cokolwiek naprawdę udowodnić?

To streszczenie zostało przygotowane przy pomocy narzędzi AI na podstawie źródła. Pełną treść znajdziesz w oryginalnym artykule.