эйай ньюз

95.1K subscribers

На Хабре выкатили детали реализации GigaChat 3.5 Ultra

Разрабы открыли код модели на 432B параметров, которую полностью обучили в FP8 и прогнали через новый этап online RL после классических SFT и DPO. Модель знатно прокачали в коде, математике и агентных сценариях, а скорость генерации увеличилась до 2,2 раза за счет двух MTP-голов. throughput под нагрузкой тоже вырос на 20%.

По бенчам модель на уровне DeepSeek V3.2, будучи в полтора раза меньше. Полный разбор всей архитектурной обвязки и рецепты стабилизации лежат в статье. Ссылки на модель под MIT-лицензией уже доступны на HuggingFace и GitVerse.

@ai_newz
3325😁177👍95🔥31🦄24🫡6😱3🤯1🤩1
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic, как и обещали, вернули доступ к Fable 5

@ai_newz
🔥27663😍28😁17🦄11👍6
эйай ньюз
С Anthropic сняли экспортные ограничения Доступ к Fable 5 начнут восстанавливать уже завтра. Мы пока не знаем деталей сделки с правительством, интересно на какие именно уступки пришлось пойти компании. Ну и продлят ли доступ к Fable подписчикам или сразу…
Anthropic опубликовали блогпост с деталями перевыпуска Fable 5

Официально подтвердили что причиной блокировки стал репорт амазона, где Fable 5 нашла уязвимость и написала код который её может использовать. Те же самые уязвимости могли найти и использовать Opus 4.8, GPT 5.5 и Kimi K2.7. Тем не менее Anthropic натренировали более жёсткий классификатор, который будет перекидывать запросы на Opus 4.8.

Доступ должны включить всем у кого он был в течение ~суток. До 7 июля до половины лимитов подписок Pro, Team, Max и Premium Enterprise могут быть использованы на Fable 5, дальше по кредитам.

@ai_newz
112😁57🔥26👍22🦄7😱2💔1
С Anthropic сняли экспортные ограничения

Доступ к Fable 5 начнут восстанавливать уже завтра. Мы пока не знаем деталей сделки с правительством, интересно на какие именно уступки пришлось пойти компании. Ну и продлят ли доступ к Fable подписчикам или сразу будут требовать апишные цены мы тоже не знаем.

@ai_newz
🔥189👍4325😱11😁8🙏1🦄1
Вышел Claude Sonnet 5

По перформансу ближе к Opus 4.8 чем к Sonnet 4.6. Модель уже доступна всем пользователям, включая бесплатных. Цена до конца лета $2/$10 за миллион токенов, потом поднимут до классических $3/$15.

@ai_newz
1👍184🔥8434😁6
This media is not supported in your browser
VIEW IN TELEGRAM
Comfy MCP

Если вы ещё не освоили Comfy и до сих пор генерите на аггрегаторах, самое время пересаживаться. Я ещё нигде не видел нормальной реализации воркфлоу, а здесь как бы первоисточник. Хоть и API может выходить немного дороже подписки в сухом пересчёте, часто все может быть наоборот из-за сгоревших в конце месяца остатков токенов и очередей на генерации.

Поддержка MCP исключает необходимость погружаться во все тонкости спагетиобразных пайплайнов. Теперь агент может сам находить нужные ноды и собирать любой воркфлоу.

Блогпост

@ai_newz
17418😁17👍7🤩3❤‍🔥2🦄1
Сбер опубликовал KVAE-Audio с открытым исходным кодом

В открытый доступ выложили алгоритм для сжатия аудиоданных. Инструмент обрабатывает звук в формате 48 кГц и сжимает его в 960 раз по времени. Итоговое латентное пространство ограничено 64 каналами. Компактный размер представления позволяет значительно быстрее обучать генеративные модели, чем если бы они обучались на сырых аудиосигналах.

При разработке подобных решений всегда требуется точный баланс между качеством восстановления изначального звука и генерацией нового. Инженеры внедрили кастомную технику регуляризации для решения типичной проблемы сильного перекоса алгоритмов в сторону реконструкции. Благодаря такому подходу архитектура превзошла токенизатор MMAudio от Sony по всем измеряемым метрикам. Модель также обошла DACVAE от Meta и SAME-L от Stability AI в качестве генерации, сохранив аналогичный уровень восстановления при радикально меньшем количестве параметров.

Проект стал логичным продолжением семейства KVAE. Ранее в этой линейке были опубликованы решения для компрессии изображений и видео. Код и веса доступны GitHub и HuggingFace под свободной лицензией MIT.

Блогпост
Код
Веса

@ai_newz
👍167😁44🔥3831🫡6🙏2🦄1
Нейродайджест за неделю (#121)

LLM
- Анонс GPT 5.6 от OpenAI — Вышли три варианта (Sol, Terra, Luna). Это ответов на Fable. В следующем месяце версию Sol обещают запустить на Cerebras со скоростью 750 токенов в секунду.

Генеративные модели
- Нативные 4K в SeeDance 2.5 — ByteDance анонсировали новую модель с поддержкой до 50 мультимодальных референсов. А ещё запустили платформу для легальных ремиксов с отчислениями правообладателям.

Прочее
- Чип OpenAI — Jalapeño предназначен исключительно для инференса. Разработан совместно с Broadcom всего за девять месяцев, но продавать или сдавать в аренду его не планируют.
- ИИ прочитал обуглившийся свиток — В рамках Vesuvius Challenge впервые удалось полностью расшифровать папирус, переживший извержение Везувия. Это оказался философский текст 2 века до нашей эры.

> Читать дайджест #120

#дайджест
@ai_newz
1🔥32135👍4😁2
На китайских чипах натренировали первую большую LLM

Meituan релизнули LongCat 2.0, которую тренировали на 50 тысячах неназванных китайских чипов, по деталям похожих на Huawei Ascend 910C. Претрейн большой, 1,6 триллиона параметров (почти как у DeepSeek V4 Pro), из которых 48 миллиардов активных. Тренировали на 35 триллионах токенов, причём несколько сотен миллиардов токенов это данные с длиной контекста около миллиона токенов. Таких масштабов раньше достигали только на GPU Nvidia и TPU от гугла, так что это очень большое достижение.

Интересная особенность модели — тут неактивные параметры уходят не только на MoE слои, но и на огромные n-gram эмбеддинги, которые занимают почти 10% всех параметров модели (у LongCat Flash-Lite, на которой их тестили, на это ушла вообще почти половина параметров). Кстати по эмбеддингам они тоже параллелят, получив в итоге 6D параллелизм. Ну и конечно они не смогли удержаться и сделали собственный вариант Sparse Attention, путём модификации до неузнаваемости DSA.

Последние два месяца LongCat 2.0 тестили на Openrouter под кодовым именем Owl Alpha, звёзд с неба она там не хватала. В API модель стоит $0.75/$3 за миллион токенов, что дороговато для такого уровня интеллекта (хотя прожорливость пока что непонятна). Веса модели обещают скоро релизнуть, Meituan обычно релизит под Apache 2.0/MIT.

Веса будут тут
Блогпост

@ai_newz
🔥11039🤯13👍10😁2
OpenAI анонсировали GPT 5.6

Но по бенчам до забаненного Fable не дотягивает...

Идёт в трёх вариантах: Sol, Terra и Luna. Sol это новый флагман, Terra примерно находится на уровне GPT 5.5, а Luna немного хуже 5.4. Sol стоит $5/$30 за миллион токенов, Terra $2.5/$15 и Luna $1/$6. Кэширование токенов теперь платное, такие промпты на 25% дороже, а скидка на кэшированные токены остаётся 90%.

Самая впечатляющая деталь этих моделей — GPT 5.6 Sol запустят на Cerebras в следующем месяце, на скорости в 750 токенов в секунду. Terra и Luna тоже хотелось бы там увидеть, но про них пока что ничего не говорят, как ничего не говорят и про цену.

Модель доступна лишь ограниченному количеству партнёров в США, пока OpenAI договариваются с правительством. Общую доступность обещают через несколько недель.

@ai_newz
👍92🔥4232🦄14😁11💔43🤯2😍2🫡1
В Vesuvius Challenge впервые прочитали весь обуглившийся свиток

Из-за того что папирус разлагается за несколько сотен лет, за тысячелетия было утеряно большинство текстов из той эпохи. Геркуланумским папирусам в каком-то смысле повезло — из-за извержения Везувия две тысячи лет назад свитки обуглились и были погребены, что позволило им сохраниться.

Уже в наше время вышло сделать трёхмерные сканы свитков при помощи рентгена и использовать нейросети для их "виртуального разворачивания". Таким образом в 2023 году победителям Vesuvius Challenge удалось прочитать небольшой отрывок из одного папируса, после чего нескольких участников наняли заниматься этим на постоянной основе, что привело к реконструкции содержимого всего свитка.

К сожалению, большая часть PHerc. 1667, расшифрованного свитка, была физически уничтожена во время нескольких попыток открыть его в 19 и 20 веке, так что из 19-24 сантиметров свитка, физически уцелело лишь 8. По нему понятно, что это стоический текст датированный 2 веком до нашей эры, у которого удалось идентифицировать автора — Аристокреона, ученика известного стоического философа Хрисиппа.

Остались ещё сотни свитков которые ждут своего часа, команда и не думает останавливаться. Новый текст из свитков в ближайшие годы станет регулярным событием.

Блогпост

@ai_newz
11🔥354100👍44😁5❤‍🔥3🤯3
OpenAI показали первый собственный чип

Называется Jalapeño и предназначен он исключительно для инференса. Компания заявляет что он уже показывает эффективность заметно лучше чем конкурирующие чипы. Сейчас он находится на стадии тестирования, но так как самая большая запущенная модель это GPT 5.3 Spark, то интеграция чипов в полноценные сервера им ещё только предстоит.

Разработали его в сотрудничестве с Broadcom, который делает ИИ чипы для Meta, TPU для Google и Anthropic свои чипы тоже с ними разрабатывает. Процесс разработки просто молниеносный — с начала разработки, до первых произведённых чипов, ушло всего девять месяцев. Детальный репорт будет через несколько месяцев, но не ждите что OpenAI будут их продавать или сдавать в аренду.

@ai_newz
👍142🦄35🔥3417🤯12😁64😍3❤‍🔥1🙏1
Media is too big
VIEW IN TELEGRAM
Нативные 4K в SeeDance 2.0 и SeeDance 2.5

Пока мы спали, на конференции Volcengine FORCE ребята из ByteDance анонсировали SeeDance 2.5. Завезли поддержку аж до 50 мультимодальных референсов, включая 3D-модельки, редактирование по промпту и нативные 4K. В уже старый SeeDance 2.0, кстати, 4K к релизу тоже прикрутили.

Кроме того, после скандалов по IP, китайцы (на удивление) запускают полноценную платформу коммерциализации авторских прав, где правообладатели легально лицензируют контент под шаблоны ремиксов, а выручка честно пилится между сторонами. Первым в это дело вписался гонконгский режиссер Чжоу Синчи, и дневной объем генераций по его комедиям уже пробил отметку в 100 тысяч.

Еще под шумок обновили Seedream 5.0 Pro — в нем теперь можно послойно редактировать контент как в reve-2.0, а заодно подтянули и их модельку Seed-Audio 1.0. Еще на ивенте обновили семейство Seed до версии 2.1, но ллмки у них исторически так себе и тут ничего не изменилось.

Релиз SeeDance 2.5 планируется в июле.

@ai_newz
6👍78🤩2521🔥13🤯6😱1💔1
On Efficient Scaling of GNNs via IO-Aware Layers Implementations

Графовые нейросети (GNN) плохо дружат с GPU: агрегация по соседям, основная операция в GNN, представляет собой чтения из неупорядоченных участков GPU-памяти с последующей агрегацией. Это плохо укладывается на современное железо, заточенное в первую очередь под упорядоченное чтение (например, в матричных умножениях/атеншене).

В статье (спотлайт на ICML) сделали для GNN примерно то же, что FlashAttention сделал для трансформеров: переписали основные слои так, чтобы они меньше гоняли данные между памятью и вычислительными блоками.

Для attention-слоёв используется IO-aware подход в духе FlashAttention, для агрегирующих - дополнительная параллелизация вершин с большим числом соседей. А ещё авторы показали, что для части свёрточных слоёв современные решения NVIDIA уже быстрее большинства специализированных реализаций.

Результат - до 8.5× ускорения и до 76× меньше памяти в отдельных сценариях. Все реализации доступны как drop-in замена для популярных GNN-фреймворков. Кстати, статья - это по сути проект преподавателей и студентов ШАДа)

Блогпост

@ai_newz
1🔥144👍3126❤‍🔥2😁2🦄2🤯1💯1🫡1
Нейродайджест за неделю (#120)
Юбилейный

LLM
- Сделка на $60 миллиардов — SpaceX покупает Cursor.
- GLM 5.2 — Zhipu выкатили GLM 5.2. Немного поменяли архитектуру ради длинного контекста в 1M, оставили прежнюю цену в API и всё так же раздают веса по MIT лицензии. Лучшая открытая модель для кодинга.

Генеративные модели
- Seedance 2.0 Mini — В два раза быстрее версии Fast и на 30% дешевле.

Прочее
- В гугле на звезду меньше — Noam Shazeer уходит из Google в OpenAI. Иронично, ведь всего два года назад гуглы отдали $2.7 млрд за поглощение Character AI во многом именно ради его возвращения.
- УЗИ-сканер от Midjourney — Дэвид Хольц возвращается в разработку железа. MJ внезапно анонсировали медицинское подразделение, доступный кольцевой сканер для всего тела и открытие спа-центра в Сан-Франциско.

> Читать дайджест #119

#дайджест
@ai_newz
👍4222🔥11😁3🤯1
Media is too big
VIEW IN TELEGRAM
Midjourney анонсировали медицинское подразделение (ЛОЛ!) и открывают спа-центр (2xЛОЛ)

Первый продукт называется Midjourney Scanner, это УЗИ-сканер для всего тела. Он более в чем 10 раз дешевле чем аппарарт для МРТ и быстрее более чем в 60 раз. Десятка таких сканеров хватит, чтобы сделать больше сканов, чем все МРТ мира вместе взятые. Идея в том, чтобы у всех была возможность регулярно сканироваться, что позволит ставить диагнозы раньше. Чем-то похожим я занимался в 2014-2015 для своей дипломной работы, но там мы сканировали только руки и ноги, помещая их в ведро с крутящимимя ультразвуковыми трансдюсерами.

Устроен сканер от MJ как кольцо из 40 чипов, на каждом чипе по 8960 ультразвуковых элементов, каждый из них способен и на приём, и на передачу. Скан проходит в воде, пациент опускается на лифте и сканируется по мере прохождения через кольцо. В теории эта же технология может использоваться для терапии, но это сильно сложнее, чем простые сканы и куда больше зарегулировано, так что пока что они туда не суются.

Компания хочет задеплоить 50 тысяч таких сканеров в течение следующих шести лет. Для тестового деплоймента они собираются запустить большой спа-центр в Сан-Франциско к концу 2027. Это первый из нескольких анонсов Midjourney, не связанных с генерацией изображений в этом году.

Дэвид Хольц, основатель Midjourney, ранее основал LeapMotion, стартап, который производил железо для отслеживания рук. То, что он возвращается обратно в железо не удивительно, но то, как именно, повергает в шок.

@ai_newz
1🔥29367🦄34🤯29👍9🤩7😁5😱52🫡1
Noam Shazeer перешёл из Google в OpenAI

Компания получит одного из самых влиятельных ресёрчеров, а Gemini потеряет одного из лидов. Всего два года назад Google высосал Character AI за 2.7 миллиарда долларов, во многом чтобы вернуть Ноама назад, а теперь он уходит в OpenAI.

@ai_newz
😁210🫡34😱19👍145
Media is too big
VIEW IN TELEGRAM
Seedance 2.0 Mini

Выкатили модельку Dreamina Seedance 2.0 Mini, которая примерно на 30% дешевле базовой версии и в два раза шустрее версии Fast. По качеству разработчики обещают уровень того же Fast, но тут как обычно надо тестить самостоятельно.

По случаю релиза у китайский провайдеров скидки на подписки и токены. API пока не завезли.

Вообще 30% экономии от базовой модели без акций как будто не предел мечтаний, но двукратный буст скорости — это приятно. У провайдеров в пиковые часы до сих пор очереди. Можно сначала быстро нащупать нужный промпт на мелкой модели, а базовой версией делать уже финишный рендер.

@ai_newz
66😱16😁6🔥4🦄3👍1
Вышла GLM 5.2

Главное нововведение модели — расширенная до миллиона токенов длина контекста, для чего немного поменяли архитектуру. Модель уже несколько дней доступна в подписке, но блогпост, веса и релиз в апи произошёл только сейчас. Цена при этом не изменилась, остались те же $1.4/$4.4 за миллион токенов. Веса доступны под MIT.

Веса
Блогпост

@ai_newz
84🔥52👍21🤩5😁2🦄1
Loading…
OpenAI анонсировали GPT 5.6 | Telefeed