эйай ньюз

Google наконец-то решил пристрелить TensorFlow. Ну и слава богу, один из худших фреймворков (хуже только был Caffe 1).

Гугел понял, что с Питорчем тягаться трудно 😂. Теперь они будут олл-ын в JAX, который по сути очень похож на Питорч.

@ai_newz

⛵Беспилотники теперь и в море

В партнёрстве с IBM было разработано беспилотные судно Mayflower, которое пересекло Атлантический океан из Британии в Канаду (5.6 тысяч километров) без единого человека на борту.

Мозг корабля состоит из нескольких NVIDIA Jetson AGX Xavier (это вычислительные модули, специально оптимизированные под минимальное энергопотребление и работе на беспилотниках). Питается вся система за счёт солнечных батарей.

AI-мозг обрабатывает данные с множества камер, радара, эхолота и прочих сенсоров, установленных на борту.

А обучалось все это дело, конечно же оффлайн на больших датасетах и на полномасштабных видеокартах NVIDIA A100. Скорее всего, там крутится много моделей, каждая обрабатывает данные с определенного типа сенсоров, затем все это фьюзится в некой другой нейронке для принятия решений. Ведь end-end модель обычно требует гораздо больше данных и ее сложнее спроектировать.

❱❱ На сайте проекта есть дашборд с онлайн показаниями приборов.
❱❱ Подробнее про начинку корабля.

@ai_newz

Про OPT библиотеку я писал ранее. Сразу были опубликованы модели поменьше – до 30 млрд параметров. Ну, а теперь они появились и на hugging face с простым интерфейсом. Модель на 175 миллиардов параметров дадут потрогать только по индивидуальному запросу.

Кстати, поговаривают, что 30-млрд модель тоже считает себя живой 🌚.

@ai_newz

30-миллиардная модель OPT теперь доступна на Hugging Face!

Можно в несколько строк запустить самую большую и умную из доступных на сегодня языковых моделей 🤗

Статья, GitHub, HuggingFace

PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos

Новая статейка, которая по монокулярному видео с помощью неронки восстанавливает плоскости в помещении. Нужно только получить позы камеры с помощью ARKit. По сути, это примерно та же технология, что была недавно представлена эплом на WWDC.

❱❱ Сайт проекта

@ai_newz

Вот так эйай выходит за рамки виртуального мира.

Денис набил себе тату по эскизу сгенерированному DALLE-2. Это вот конкретный пример использования нейросетей в физической жизни кожаного мешка. А сколько ещё будет?

@ai_newz

⚡️Snap опять взрывает серую реальность, на этот раз нефиговым 3D Body Tracking'ом

Тут и быстрый трекинг нескольких тел в 3D, и симуляция столкновений с виртуальными объектами. Довольно веселая штука! И все это на мобильнике!

*Советую смотреть со звуком.

@ai_newz

Если вы ещё не видели, у моего товарища Дениса Ширяева, который тоже любит поковырять нейронки, есть отличный канал.

Вот как Денис сам о себе пишет:

Я иногда пощу какую-то фигню, которая расходится на мировые медиа, но это не то в чем я хорош на самом деле. Я хорош в глуповатых шутках, ради них и завел канал, так что если вы любите когда глуповато и ничего непонятно – добро пожаловать, вы дома:
@denissexy

🔥Authentic Volumetric Avatars from a Phone Scan
SIGGRAPH 2022

Коллеги из Meta Reality Labs выпустили новый метод по созданию реалистичных 3D аватаров c помощью телефона!

Грубо говоря, работает это так:
Человек берет айфон и сканирует свое лицо, корча разные гримасы. С помощью трекинга ключевых точек и multi-view геометрии строится мешь головы и соответствующая ей текстура. Так делают много раз, для разных гримас. Далее тренируется энкодер, который переводит текстуру и карту глубины определенной гримасы в скрытый код. Этот код подается на вход декодеру, который генерит уже отрендереный аватар головы.

Самое сложное здесь - это натренировать декодер. Он тренировался в лабе на очень качественных данных от 255 человек. Каждого из участников садили в сферу обвешанную сотней камер, которые синхронно снимают видео, и заставляли гримасничать. Самое крутое, что этот декодер получился универсальным и может рендерить лица, на которых он не был изначально натренирован.

❱❱ Полное видео о методе
❱❱ Папира

@ai_newz

​Сбер AI опубликовал ruDALLE XXL (Kandinsky) на 12 миллиардов параметров

Эта моделька не такая мощная, как DALL-E 2, но является довольно сильным улучшением предыдущей версии.

Чтобы понять как ruDALLE XXL объективно показывает себя в сравнение с другими моделями, можно использовать FID.
FID расстояние - это метрика качества генеративных моделей. Грубо говоря, она измеряет, насколько генерированные изображения похожи на реальные. Чем ниже FID, тем лучше модель.
Так вот у ruDALLE XXL FID=15.4, что ниже чем у предыдущей модели ruDALL-E XL (18.6) и ближе к DALL-E 2, у которой FID=10.39.

Результаты получаются кайфовые, вы их можете видеть сами под постом.

▪️В дискорде можно сгенерить картинку по своему запросу: тык
▪️ Хабр пост: тык
▪️ Весов пока нет, ждёмс...
▪️ Код: тык

Как экспортировать свой кожаный мешок в Метаверс?

Друзья, если вам уже наскучила реальность и хочется в Метаверс, то вам понадобится:
- Айфон с лидаром
- Приложение для скана себя poly.cam
- Unreal Engine 5
- Metahuman

Сканируете себя Айфоном, затем с помощью плагина в UE5 конвертируете мешь в формат MetaHuman. После этого вы получите полностью управляемый аватар, причем можно делать любые модификации внешности.

Подробный туториал про экспорт своего (или чужого) скана в Metahuman: тут.

@ai_newz

Кстати, видео, где Яник описывает свою поделку (gpt-4chan), довольно развлекательное. Очень советую, если вы ещё не видели.

https://youtu.be/efPrtcLdcdM

Компания Nala Robotics из Иллинойса представила высокотехнологичного робота для выпечки пиццы. Робот полностью в автоматическом режиме раскатывает тесто, добавляет разные топинги и выпекает пиццу в печи. Кажется, только тесто все ещё нужно заготовить заранее, ну либо обучить другую машину делать это.

Возможность существования такого робота сегодня - не особо удивительна, ведь создание пиццы это довольно формальный набор повторяющихся действий, которые, в целом, не трудно автоматизировать. Пара камер плюс манипуляторы. Об интеллекте речь тут не идёт, это просто инженерия. Вот если бы этот робот мог поболтать с клиентом и предложить новые рецепты на основе его предыдущих заказов, варьируя пои этом состав теста и температуру запекания - это был бы совсем другой разговор.

Сейчас рестораны и пиццерии уже могут арендовать робота-пиццемастера всего за $7000 в месяц, при этом снижая зависимость от поваров и персонала. Вот только у такой пиццы не будет души (не знаю, важно ли вам это) 😃.

@ai_newz

Палец вниз👎 к этому посту значит, что поддерживаете Яника.

Яника жёстко начали щемить в твиттере за этот эксперимент. Но никто не смог ему ответить, где реальный вред от бота на форчане, обученного на комментариях самого форчана. Они просто любят покукарекать.

Совсем недавно вышедшая в свет нейросеть GPT-4chan (по сути это GPT-j-6b дообученная на 3.3 миллионах тредов форчана) за сутки опубликовала 15 000 расистских, оскорбительных и жестоких постов.

Естественно, уже понеслись вскукареки со стороны параши от "экспертов по этике" и прочих умственно отсталых дегенератов с требованием запретитьудалитьзаблокироватьзарегулировать.

Не, ну чо вы хотели-то получить от сетки, обученной на постах с форчана???

upd: в личку сообщили, что модельку из-за этих вскукареков снесли с huggingface

Оказывается, в Мете есть FinTech команда, сам о ней недавно узнал. Они занимаются в том числе исследованиями в области криптоэкономики и около-блокчейновых технологий.

Тут вышло интервью от ресерч саентиста из этой команды. Он рассказывает про свой путь, что ему дало PhD, как попал в FinTech ресерч, и что они там исследуют.

#карьера

@ai_newz

Amazon запилил AR примерку обуви у себя в приложении

Новая фича уже в проде, но пока только доступна из приложения Амазона на iOS.

Примерить можно не любые кроссовки, а только самые уродливые те, для которых, видимо, есть 3Д модельки.

На себе попробовал, работает ок. Ребята из Wannaby вовремя экзит сделали 😁. С другой стороны, у них эта технология была готова 3 года назад.

@ai_newz