эйай ньюз

Новое интервью с Ильёй Суцкевером, ко-фаундером и главным сайнтистом в OpenAI.

Го смотреть!

Главные тейки от Ильи:
— Если вы верите, что биологический нейрон при должном упрощении похож на искусственный нейрон в нейронной сети, то у нас есть пример того, что очень большая нейронная сеть может достичь AGI. То есть "scale is all we need" (почти).

— AGI - это компьютерная система, которая может автоматизировать большую часть интеллектуального труда.

— "Are Transformers all we need?" - вопрос не корректно поставлен. С Трансформерами (такими, как они сейчас) мы сможем зайти очень далеко, но это не значит, что нет более эффективной архитектуры.

— Про LSTM vs Transformers. Если докрутить архитектуру LSTM, увеличить размер внутреннего состояния и сделать так, чтобы они стабильно тренировались на large scale, то с LSTM мы сможем зайти довольно далеко. В тоже время Илья считает что Трансформеры все равно будут слегка лучше.

— Мы не очень хорошо понимаем scaling laws.

(Продолжение ниже)

@ai_newz

Мой товарищ, который делает PhD у нас в GenAI в Лондоне, выпустил классную работу по трекингу пикселей на видео. Результаты говорят сами за себя.

Наконец-то можно забыть, что такое optical flow (он тупой как барабан, т.к. смотрит только на интенсивность цвета и не понимает семантику изображений).

Код и модели доступны на GitHub.

@ai_newz

🤯Там Андрей Карпатый уже вовсю запускает LLaMa-2 на рисоварке

Андрей вдохновился известным репозиторием llama.cpp для инференса LLM моделей на С++ и написал 500 строк кода на чистом C, которые прогоняют инференес модели LLaMa2.

llama2.c — тупо 500 строк... и без всяких внешних зависимостей. Шикарный код! Запускается хоть на чайнике, хоть на калькуляторе, если там есть CPU.

Из-за минималистичности, в коде реализована только точность fp32 и инференс на CPU с паралелизацией через OpenMP. Однако, можно гонять даже LLaMa-2 7B c адекватной скоростью.

Код llama2.c и модели

@ai_newz

​Apple GPT: На прошлой неделе прошел слух, что Apple строит свою языковую модель уровня ChatGPT

Apple увеличила свою рыночную стоимость на $71 млрд (!) после этой новости о тайной разработке конкурента ChatGPT. Это только подтверждает величину хайпа вокруг AI в этом году.

Что нам известно?
- Внутри Apple уже есть некий прототип чата на базе "Apple GPT", которым уже могут пользоваться разработчики. А в мае сотрудникам Apple запретили пользоваться ChatGPT.
- Для обучения больших языковых моделей они построили свой фреймворк Ajax на базе гуглового JAX.
- Выход технологии в продукт планируется не ранее 2024 года.

Эппл, как всегда, аккуратничает. Даже во время релиза AR шлема на WWDC, все упоминания слова AI были заменены на ML.

Вот как Тим Кук прокомментировал AI на созвоне инвесторов в мае:
"Мы продолжим внедрять это в нашу продукцию очень осознанно," - сказал он. "Я думаю, что очень важно быть рассудительными и обдуманными... Есть ряд вопросов, которые нужно разрешить." - Я думаю тут он говорит про приватность данных и галлюцинации моделей.

Пока не понятно в какие именно продукты они хотят встроить Apple GPT, но мне кажется наиболее вероятным, что первым делом они интегрируют AppleGPT в Siri, где как будто бы уже несколько лет не было сильного развития.

Apple славится сильным железом и Edge девайсами, но не очень умеет в масштабные облачные вычисления. Интересно, будут ли они пытаться делать инференс LLM прямо на мобильниках?

@ai_newz

В поддержку открытому подходу Меты к разработке AI (Statement of Support for Meta’s Open Approach to Today’s AI) подписалась куча влиятельного народа в сфере, включая топов крупных компаний и исследователей:

“We support an open innovation approach to AI. Responsible and open innovation gives us all a stake in the AI development process, bringing visibility, scrutiny and trust to these technologies. Opening today’s Llama models will let everyone benefit from this technology.”

Я кекнул, что в списке подписантов есть, например, AMD и NVIDIA (потому что на произведенном ими железе будут крутиться модели в датацентрах), но нет OpenAI.

@ai_newz

Еще немного про LLaMa-2

LLaMa-2 - это самая мощная языковая модель, которая есть в открытом доступе на сегодняшний день. Это дает огромны толчок дальнейшему развитию LLM и их использованию в разных продуктах. Открытй релиз LLaMA-1 породил просто тучу крутых проектов породил, я в предвкушении того, что в ближайшее время сделают на базе LLaMa-2, коротая еще позволяет и свободное коммерческое использование.

В интервью BBC, один из топов Meta, Nick Clegg, сказал, выпуск LLM в open-source делает их «более безопасными», так как привлекает тщательные исследования и анализ извне.
Вот еще несколько интересных мыслей от Ника:

- LLaMa-2 более безопасна, чем любая друга open-source модель на сегодняшний день (и это подтверждается бенчмарками в статье).

- По поводу экзистенциальной угрозы: «Я считаю, что шумиха несколько опережает технологии. Я думаю, что многие экзистенциальные угрозы относятся к моделям, которые в настоящее время не существуют, к так называемым сверхинтеллектуальным, сверхмощным моделям ИИ — вариант, в котором ИИ самостоятельно развивает автономию и свободу действий, где он может думать сам и воспроизводить себя.»

«Модели, исходный код которых мы открываем, далеки от этого. На самом деле, во многом они довольно глупы».

- Ник убежден, что AI должен регулироваться, и добавил, что это «не означает, что все AI модели должны быть открытыми».

За последние 10 лет Мета зарелизила в открытый доступ более 1000 моделей, библиотек и датасетов. Чего стоит только React, PyTorch и, например, недавняя модель Segment Anything. Мне кажется, некоторые другие компании незаслуженно зовутся "Open".

@ai_newz

Закрыл корпоративный гештальт. Пообщался 1 на 1 со всей цепочкой начальства, начиная с моего менеджера (с ним я и так каждый день вижусь), и до VP. В пятницу было последнее звено – наш Senior Director в GenAI. Осталось только выбить 1:1 слот с Марком 😅

В карьеризме важно, чтобы боссы знали тебя лично и были в курсе того, какие крутые штуки ты делаешь. Иначе можно делать много всякого, но если никто из лидеров об этом не знает, то признания за импакт ты не получишь.

У нашей команды довольно видное место в организации и в разговоре легко показать, что мы делаем для Generative AI. Конкретики пока не могу дать, так как еще не было релиза (мы работаем не только над ресерчем, но и делаем модели для продуктов).

@ai_newz

Именно. PhD - это просто подтверждение того, что ты можешь долго и упорно бить в одну точку и, несмотря на неопределенность и долгие неудачи, идти к решению роблемы, создавать новое.

Это одна из причин почему в ресерч-команды в большинстве случаев нанимают именно людей с PhD (у нас в команде тоже так).

И на самом деле не очень важно иметь 100% совпадение темы PhD и того, над чем команда работает. Если видно, что человек способный и затащил PhD с сильными публикациями, то он разберется в любой новой теме.

@ai_newz

​🎙Клонирование и синтез голоса

GenAI стартап-бум продолжается. Стартап из Торонто resemble.ai занимается клонированием и синтезом голоса и вчера поднял $8M в Series A.

Это точно не единственная компания, которая занимается синтезом голоса. Но вот что интересно - тут можно загрузить записи своего голоса (нужно 12 минут) и они создадут генератор под ваш голос. Пока процесс создания модели под вас в бесплатной версии занимает 2 дня, а синтез из нее стоит $0.006 за секунду.

Из крутых юзкейсов, которые я вижу у них на сайте:
- Редактирование аудиозаписи по тексту. Например, я записал часовой подкаст и хочу подкорректировать некоторые фразы или предложения. Вместо записи новых кусочков аудио, я могу использовать выход speech2text на моей длинной аудиозаписи и редактировать подкаст, редактирую текстовый транскрипт. А моделька, обученная на моем голосе, будет синтезировать отрезки аудио, которые соответствуют измененному куску текста.
- Speech-to-speech: Это перевод аудиозаписи на разные языки, сохраняя голос, и изменения стиля повествования, добавляя разные эмоции.

К сожалению на сайте проекта еще не все описанные возможности доступны, но клонировать свой голос уже можно.

Борьба с дипфейками и нелегальным клонированием:
Интересно, что для борьбы с дипфейками и клонированием голосов, которые вам не принадлежать, от юзера требуют загрузить видео, где "клонируемый" человек говорит текст вроде "Я разрешаю загрузку моих аудио данных в resemble и даю согласие на использование его для генерации контента для юзера [email address]". То есть украсть золотой голос Баскова без его согласия не выйдет (на самом деле выйдет, если вы сами сможете собрать похожий пайплайн из кода на гитхабе).

@ai_newz

Roblox Open Beta выходит на Meta Quest 2 & Pro

Roblox давно строит свою метавселенную. Но до этого в нее играли только на 2D девайсах (PC, консоли, мобильники). Сейчас же в партнёрстве с Meta, Roblox получит полноценное 3D воплощение в VR.

Многим читателям канала 20+ лет, и вам наверное не совсем понятен феномен Roblox. Поэтому стоит отметить, что эта платформа имеет 66 млн DAU (daily active users) и большая часть из них это дети и подростки до 17 лет.

Roblox — это своего рода конструктор игр, где любой желающий может создать свой собственный мир. Либо можно подключиться и поиграть со своими друзьями в существующую игру. При этом большой упор делается на кастомизацию внешности своего аватара (я писал про это раньше).

Во время пандемии произошел огромный рост пользователей Roblox. Три из четырех ребенка 9-12 лет из США играют в Roblox.

Ну вот, а теперь все это переносится и в VR, что будет очень круто как для развития экосистемы Quest так и для самого Roblox.

@ai_newz

50 минут назад Маск анонсировал свою новую компанию https://x.ai/ под бодрым лозунгом "Understand the Universe".

По сути это конкурент OpenAI с блекджеком и шлюхами, о котором Маск ранее упоминал.

В ядре команды инженеры и сайнтисты из DeepMind, OpenAI, Google Research, Microsoft Research и Tesla. Некоторые из них тренили GPT-4. Так что инсайдерской инфы у команды достаточно, чтобы воссоздать ChatGPT как минимум. Маск заранее закупился тысячами видеокарт под это дело.

Но, честно сказать, пока не понятно, чем именно эта новая компания будет заниматься. Наверное тоже будут строить AGI.

@ai_newz

Bitsandbytes: Быстрый инференс в точности 4-bit

Есть такая библиотечка bitsandbytes, в которой реализованы очень быстрые CUDA-кернелы для 8-битных операций в PyTorch. Выглядит либа как обертки над обычными объектами Pytorch, что огромный плюс, ведь не нужно возиться с C++ кодом как в случае llama.cpp.

В том числе в bitsandbytes есть и оптимизаторы для обучения на 8-битах.

Снижение разрядности операций с fp32 до, например, int8 позволяет в разы сократить время обучения и инференса сетей.

А вчера, автор выложил версию 0.40.0, в которой реализовал эффективный инференс в int4. И на современных GPU мы видим x4 ускорение для операций матричного перемножения и скалярного произведения векторов по сравнению с fp16! А современные трансформеры почти полностью состоят из этого типа операций. То есть при инференсе LLM, мы и экономим драгоценную память, и увеличиваем скорость инференса моделей типа LLaMa до x4.2 раза (см. картинку)!

@ai_newz