эйай ньюз

Вчера ещё зарелизили генерацию видео от Luma - очень достойный результат. Но кода или тех-репорта не будет, так как это сугубо продукт.

Я сделал для вас генерации с теми же промптами, что и Kling в предыдущем посте. А последние 3 видео - это черипики из твиттера, где на вход подавалось фото.

Мое комментарии по результатам:
- Генерит все также по 5 секунд, время генерации одного клипа сравнимо с Kling.
- Эстетическое качество хуже чем в Kling (если судить по первым попыткам). Однако гораздо больше движения в кадре, хоть оно иногда и не имеет смысла, как в случае с пандой или человеком, который должен был менять колесо в машине.
- Если же на вход подается первый кадр + промт, то результаты выходят заметно лучше. Можно прям классные ролиик создавать, генеря ключевые кадры с помощью MJ. Но опять же, видосы из твиттора сделаны не за одну попытку и требуют промпт инжениринга.

Еще видосы по похожим промптам есть у Саши в канале: пост.

Вы может потестить Luma сами, без вейтлиста: lumalabs.ai/dream-machine

@ai_newz

Вот мой честный тест генерации видео с помощью Kling. Выбрал интересные промты из ваших комментариев, плюс добавил несколько своих.

Получаются видосы только по 5 секунд (увы), а генерация каждого занимает ~3 минуты. Как я понял, генерят на видеокартах A100, потому что США ввели полный запрет на поставку видеокарт H100 в Китай.

Комменнтарии по качеству:
- В Kling добились доволно высокого качества генерации людей и их лиц. Посмотрите на чела, поедающего пасту. Тут все очень реалистично вышло – от пальце рук до мимики лица. Правда модель не знает, кто такой Вилл Смит 😢. Еще небольшие артефакты всё же сть на ногах женщины на последнем видео (8) и на бегающих глазах программиста (6).
- Аниме получилось не очень, как будто наложил некий фильтр на реальное видео.
- Панда паркурит без артефактов, но вот движения почти нет.
- Забавно человек меняет колесо. Наверное в датасете не очень много сложных интеракций человека с предметами.
- Галактика выглядит прикольно, но как будто это зум-ин в статичное фото.

Промпты с Винни-Пухом и всем что связано с правительством, конечно же не проходят. Как сказал мой друг – Добро пожаловать в Китай, это базовые фильтры, которые есть во всех приложениях китайского интернета.

1. Will Smith eating pasta
2. Hatsune Miku dances on the concert stage in the middle of the camera, and holds a microphone in her hands, high quality masterpiece dance animation, anime video, MMD, Miku Miku Dance, from NicoNicoDouga
3. A panda doing parkour, jumping from a building to another building, doing somersault in the air
4. A man changes a car tire while the car is moving
5. A UFO lands in the park, shooting on an old smartphone
6. A group of software engineers in a meeting in a room
7. Near-light speed flight near the Andromeda galaxy
8. A 55 years old woman doing yoga asanas outside in a central park.

Итого, неплохая модель, довольно хорошо генерит людей, но страдает от недостатка движения, как и многие другие text2video модели.

Еще вот сравнение Kling с чери-пикнутыми видео от SORA: пост.

@ai_newz