эйай ньюз

95.1K subscribers

This media is not supported in your browser
VIEW IN TELEGRAM
AI вместо компилятора

Что делать, если проект написан на каком-нибудь мутном языке типа Agda, вам нужно запустить в браузере, но в компиляторе куча багов, а единственный разработчик умер?

Элементарно! Нужно просто попросить Sonnet 3.5 скомпилировать проект напрямую в TypeScript (процесс показан на видео). В итоге код выходит в 20 раз быстрее, чем со старым компилятором (на примере Agda), при том что багов компиляции стало меньше.

Концепт интересный, но это пока прототип, который работает с единственным проектом. Работает не идеально и компилирует медленно, так что до обычных компиляторов и больших кодбаз схожий подход доберётся не скоро. Но в нишевых задачах неплохо может помочь.

Я не уверен что Sonnet видел Agda в тренировочной выборке, ну, может пару файлов и попало. Чтобы улучшить качество компиляции челик пишет длинный System Prompt You are an expert Agda <-> TypeScript compiler. Your task is to translate Agda to/from TypeScript..., где еще добрасывает список ошибок, которые не стоит допускать и кучу примеров коротких функций на Agda и JS. Делает он так, потому что few-shot промпты всегда поднимают качество результата.

А в целом добавлю, что переводить куски кода с одного на другой широко известный язык (напрмиер с Python на C++) – это то с чем LLM-ки очень хорошо справляются. И результат работы можно детерминированно проверить, прогнав исходную и новую программу.

Код "компилятора"

@ai_newz
103🤯36🔥28👍23❤‍🔥2😁1😱1🦄1
Нейродайджест за неделю (#36)

Карьера в FAANG
- Стрим. Собрались, поболтали с чуваками про карьеру в бигтехе. Записи нет (но может выложим), так что следите за анонсами.
- Интенсив по подготовке к собесам на AI/ML роли в FAANG. Я анонсировал закрытое сообщество, все еще не поздно записаться.

Генеративные модели и ЛЛМ
- Kling 1.5. Неплохое обновление китайского видео-генератора, отдельный прикол — это Motion brush с траекторией движения. + Мои тесты.
- Презентация Snapchat. Чуваки показали кучу всего прикольного: AR-очки, крутой IP-Adapter и свою видео-модель.
- OpenAI o1-preview на арене. Ну, тут без шансов — топ-1.

Прочее
- Гайд, как купить мегакластер Nvidia. Наглядный пример от Маска и Ларри Эллисона.

> Читать дайджест #35

#дайджест
@ai_newz
21🔥10❤‍🔥4👍32😱1
Мне в личку, в комментах и на последних стримах прилетает очень много вопросов по типу: По какому треку лучше учиться, нужен ли PhD, как пивотнуться в AI/ML, как подготовиться к собесам на AI роли в FAANG и прочее.

На все вопросы ответить я, конечно, не успеваю, но зато у меня есть для вас новость. Мне очень нравится менторить ребят и делиться своими знаниями и опытом. Поэтому я решил протестировать формат закрытого комьюнити, где я буду помогать вам готовиться к собеседованиям на AI/ML роли и в том числе проведу серию live стримов (там же), на которых отвечу на все ваши вопросы. Сразу скажу: доступ будет платным, чтобы собрать только самых заинтересованных людей и успеть дать качественную обратную связь. А чуть ниже расскажу еще, как попасть туда бесплатно.

▶️Если вам уже все понятно и ничего объяснять больше не нужно💳, то вот ссылка на бота для предзаписи: @ai_newz_intensive_bot. Там же все подробности по содержанию, времени и прочим условиям.

Для остальных расскажу, кто я такой и почему могу дать ценные знания. Мало ли, не знакомы еще)

Меня зовут Артем, я Staff Research Scientist в Meta GenAI в Цюрихе. До позиции „Staff“ в FAANG доходят лишь 10% (пост про разные уровни в Бигтехе). Также я сам собеседую народ в Мету, и в этом посте подробнее рассказывал про это. Больше обо мне можно почитать в закрепе.

Как попасть бесплатно. Я по себе знаю, что для многих студентов дополнительные траты не всегда по карману. А пользу толковым студентам все равно хочется дать, чтобы они могли как можно быстрее выстроить свой карьерный путь в топовые места. Поэтому я предусмотрел 3 charity spots. Будет небольшой конкурс с несколькими заданиями, по итогам которого я отберу трех лучших ребят, которые смогут попасть на интенсив бесплатно. Все подробности опять же в боте.

В закрытом комьюнити я хочу поделиться своими знаниями и опытом с ребятами, которые стремятся перейти в AI/ML как инженеры или рисерчеры.

@ai_newz_intensive_bot
10🔥127😁35👍2823😱8🦄7❤‍🔥5🤯5🙏4🫡1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Протестил Kling Motion Brush

50 минут ожидания и о-па! Марик превращается в другого парня. Лица, конечно, знатно корёжатся. Но траектория с большего правильная получилась, кроме ног парня слева.

Ради справедливости, я пробовал оживить это фото в Luma, и он вообще отказался что-либо делать, просто слегка зазумил фотку.

Так что тут победа за Kling!

@ai_newz
468👍31🔥28😁13🤯6❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Motion brush и Kling 1.5

Я что-то слышал краем уха про то, что у Kling вышла версия 1.5, и вроде бы она даже немного получше, и про то, что у них появился motion brush. Но я не предал этому особого значения, т.к. такая же штука была у Runway, а качество, ну, не то чтобы прямо сильно выросло. Но.

Гляньте на эти тесты от твиттерских. Работает неожиданно хорошо, и что самое классное — есть возможность указать траекторию движения. Да и сегментация объектов по клику мыши работает неплохо. Поэтому решил, что всё-таки это стоит поста.

По обновлению:

- Разрешение 1080p для pro юзеров
- Увеличение динамики движения в кадре
- Motion Brush с траекторией движения для 6! элементов сразу
- Увеличили скорости генераций, сделали возможность генерить несколько видео параллельно - тут спорно, у меня 2 видоса генерились более 50 минут. Хз, где та скорость.
- Увеличили макс. длину клипа для img2video до 10 секунд и добавили end frame в стандартной подписке (тоже платная)

Пока на бесплатной версии дает генерить с Motion brush только в Kling 1.0.

Ну что, теперь Kling — король арены видеогенерации?

Подробнее и сравнения

@ai_newz
🔥7322👍11❤‍🔥6😱4😁3🤩1
Стрим про AI карьеру и собеседования через 2 часа, 17:30-18:30 CET (18:30-19:30 мск).
С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало.

Ссылка на стрим: Streamyard

В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто ел в одной столовке с Яном ЛеКуном, кто сегодня спал днём, а кто работал всю ночь.

@ai_newz
1🔥46🦄106❤‍🔥5👍2😁2
Вот и результаты Strawberry 🍓 на арену подъехали. И конечно же это новый лидер!

Похоже, o1 открывает свой новый тир, результаты (в среднем) на голову выше, чем у предшественников, улучшился перформанс даже на обычных не наукоёмких запрсах. А в хард-промптах и кодинге все остальные даже не близко (4o может немного).

Челам с подпиской повезло, им еще и лимиты недавно повысили. А вот стоит ли переплачивать в 30 раз (тк o1 тратит в ~6 раз больше токенов на запрос чем 4o) за API для обычного пользователя – пока непонятно.

А как вы планируете использовать новую модель на полную мощь?

@ai_newz
3🔥97🤯23👍13❤‍🔥85😁5😱2🦄1
Media is too big
VIEW IN TELEGRAM
Снапчат троллит Эпл.

Вчера прошла ежегодная презентация Снапчата. Заанонсили пару прикольных штук. Приложение со смешными масочками решило с двух ног залететь в AR/VR и AI. Казалось бы, ничего не предвещало...

Показали AR-очки с прозрачными линзами! Это уже 5-е поколение Spectacles, хотя раньше о них никто особо не слышал. Очки обещают утереть нос Эпл Вижену, как видно на видео выше. Функционал пока непонятен, но анонс многообещающий.

Пишут, что заряда хватит на 45 минут, и пока вся эта история выглядит как оверхайп. Девайс стоит 99 долларов в месяц с обязательной оплатой на 12 месяцев. Пока доступен только ограниченному кругу разработчиков, кому повезло попасть в developer-программу. Возможно, потом станет дешевле, если очечки выйдут на массовый рынок.

Ещё представили фильтр, который очень точно воспроизводит лицо на сгенерированной картинке (что-то вроде IP-Adapter на стероидах). Подробностей пока нет.

И последняя горячая новинка — text и img 2 video foundation модель. Новый конкурент Sora (да, опять, хах), но пока почти нет видео для сравнения.

@ai_newz
168😁31🤩20🔥18👍15🫡6🦄2
Сегодня хочу поделиться мыслями об опенсорсе в AI/ML. Как человек, который сам тренирует большие модели, могу сказать - опенсорс это очень круто! Радует, что крупные компании это тоже понимают.

Открытые решения реально двигают всю сферу вперед, позволяя даже небольшим командам использовать SOTA инструменты и строить на них свои продукты. Например, та же Meta с релизом LLama3.1 и предыдущими версиями серьезно подтолкнула прогресс в области LLM.

Ну, и бигтехи в России тоже контрибьютят в опенсорс. Наткнулся на исследование ИТМО, где они посмотрели, кто больше всего выкладывает в открытый доступ штук по AI/ML. В тройке лидеров оказались Яндекс, Сбер и Т-Банк.

Вот мой личный топ их репозиториев:
• Яндекс:
- catboost - мощная библиотека для градиентного бустинга
- YaFSDP (я писал о ней тут) -  библиотека для ускорения распределенного обучения больших моделей.
• Сбер:
- Kandinsky-3 - крупная text2image модель на 3B параметров
- ru-gpts - одни из первых LLM на русском языке
• Т-Банк:
- T-lite – русскоязычная специализированная LLM на 8B параметров
- Rebased - (писал о ней тут) - улучшенная имплементация линейного трансформера

В общем, топим за опенсорс. И не стесняйтесь контрибьютить сами, если есть что предложить - кроме всего прочего, это еще и хорошо выглядит в CV.

@ai_newz
2151👍69😁16🔥14🫡7
Стрим про карьеру, собеседования и бигтех

Заметил, что у вас есть большой запрос на эту тему. Поэтому мы тут организовались с ребатами и будем проводить большой стрим, где поговорим про карьеру и собеседования в FAANG.

Choose your fighter. Бигтех-банда для стрима:

- Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера;

- Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы;

- Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами;

- Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Юра будет скоморошить (то есть модерировать) встречу;

- Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор @ai_newz (еще раз пост-приветствие). А вот тут я писал про то, как собеседую на разные синьорные позиции в Мету.

---

Вопросы можно задавать заранее тут в комментах, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?»

Время: 20 сентября, Пятница, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь).

Записи не будет, все вживую. Мест – максимум 1000 😀

#interviews
@ai_newz
461🔥37👍16😁4🙏3❤‍🔥2
Media is too big
VIEW IN TELEGRAM
Если вам когда-либо было интересно, как получить мегакластер GPU, то вот вам подробный гайд от Ларри Эллисона, фаундера того самого Оракла. Челу 80, кстати, похоже, он всё-таки нашёл эликсир вечной молодости.

Ну так вот, записываем:
1) Приходим на ужин к Дженсену Хуангу.
2) Вместе с Маском умоляем Кожанку взять ваши миллиарды.
3) Поздравляю, если вам повезёт, то партию свеженьких GPU не задержат.

Теперь повторяем😂

Кроме шуток, Oracle – одна из немногих компаний, которая смогла заполучить контракт на более чем 100.000 видеокарт NVIDIA Blackwell (это GB200, например). Они уже строят огромный кластер, который заработает в первой половине 2025. А сбоку еще планируют пристроить 3 маленьких атомных реактора на ~1000 MW, чтобы все это дело запитывать электроэнергией.

Короче, если GPU - это новая нефть, то AI – это новый автомобиль.

@ai_newz
5105🤯70🔥26👍21😁5🦄3🫡1
Нейродайджест за неделю (#35)

LLM, гонки и клубника
- Гонка инференса Грок обогнал Cerebras, выдав >500 токенов/сек на Llama 70B.
- SambaNova. Еще один лидер, о котором раньше никто не слышал. Теперь у ребят самая быстрая лама 405B.
- Pixtral - 12B. Мультимодалка от Mistral теперь понимает картинки.
- OpenAI o1 или та самая Strawberry. Скейлить инференс комьют через CoT — похоже, всё, что нам осталось. Прайсинг, конечно, жестокий.

Генерация видео
- Runway зарелизила модель для генерации video2video. Смотрим примеры, и почему оно работает лучше чем text2video.

Гайды
- Визуализация LLM. Смотрим как работает LLM на интерактивной визуализации.
- WebGPU puzzles. Как оригинальный GPU Puzzles, но прямо в браузере. Кайфы, всё быстро и просто. Идем ботать программирование под GPU!

Всякое
- Разоблачаем AI-хапожоров или почему нужно читать проверенные источники.
- Преза Apple. "Главное" нововведение — это то, что в названии после 1 теперь не 5, а 6.

Интерактивчик!
- Стрим про карьеру и учебу. Поговорили про поступление в ЕС, PhD программу в Meta и еще кучу ништяков, кто не успел — тот опоздал. Жмякайте unmute :)

> Читать дайджест #34

#дайджест
@ai_newz
1🔥29👍1377❤‍🔥2🙏2
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ещё примеры video2video. Мой любимый 5-й: там чуваки вырезали из картона болванки и неплохо так их оживили + за смекалку.

Все же реактировать готовое видео – это гораздо более простая задача, чем генерить его по текстовому описанию с нуля.

Когда на вход дают видео, то там есть уже готовый реалистичный моушен и глобальная геометрия. Нужно только частично поменять, как оно рендерится, либо отредактировать только лишь какую-то часть видео. Думаю, что такие модели гораздо раньше найдут реальное применение в киноиндустрии чем text2video.

@ai_newz
1🔥121👍3314🤩2😍2🦄1
Loading…
Стрим про AI карьеру и собеседования через 2 часа,…