Борис опять

#обзор_статьи
# Not Really: “ChatGPT Outperforms Crowd-Workers For Text-Annotation Tasks”

Недавно на arxiv появилась статья, где утверждается, что ChatGPT круче людей на задачах разметки текста. Как человек, работавший в рисерче Толоки, я изначально отнесся к ней с большим скепсисом. И был прав. Легендарная по своей хреновости статья.

Саммари:
* Исследователи не из ML
* Взяли ноунейм датасет из 2382 твитов на тему модерации контента, который собрали и разметили руками (руками ровно двух студентов), но не опубликовали. Изначально было 3000 твитов, но они отсеяли те, где два студента не совпали в лейблах.
* Четыре задачи: определение релевантности твита теме, определение отношения к Section 230 (закон о том, что сайты не несут ответственности за контент, запосченный пользователями), выделение темы, определение фрейма
* Размечают датасет ChatGPT и крауд разметчиками с MTurk
* Для ChatGPT делают два набора разметки. Далее повторяют и делают еще два набора с другой настройкой температуры.
* Для MTurk отбирают только разметчиков с высоким рейтингом. Каждое задание размечают два крауд воркера.
* Меряют accuracy и intercoder agreement. Accuracy считается как доля корректных ответов относительно ручных лейблов. Вторая метрика это согласованность, которая не смотрит на ручные лейблы: чем чаще разметчики совпадают в ответах на одно задание, тем выше метрика.
* Приводят график, что у ChatGPT accuracy лучше, чем у людей, на всех задачах кроме одной. Intercoder agreement у модели лучше на всех задачах с большим отрывом.

## Проблемы
Вся эта статья одна большая проблема, но пройдемся по конкретике.

1. Конечно согласованность ChatGPT с самой собой выше, чем согласованность между двумя разными людьми. Два разных лейбла от разных людей даже несут больше информации, чем два одинаковых лейбла от модели. Если бы посчитали согласованность одного разметчика с самим собой, то было бы не меньше, чем у ChatGPT с самой собой. Кто вообще придумал приводить это как метрику качества? Это манипуляции на грани мошенничества: выглядит важно, на самом деле полная чушь.
2. Исследователи идут дальше и считают Accuracy для задачи многоклассовой классификации. При этом в одной из задач я насчитал 15 классов. Вам двойка по предмету ML 101, давайте дневник и маму в школу.
3. Как они вообще посчитали accuracy имя ответы только двух разметчиков на каждое задание? Пусть у нас задача проще: размечаем картинки на кошек и собак. Делаем как авторы и берем двух разметчиков. На первую картинку один говорит “кошка”, а другой “собака”. Какой лейбл будем сравнивать с настоящим? Да никакой, потому что нельзя сделать majority vote для двух ответов. Как авторы считали свои метрики остается загадкой.

UPD: разобравшись стало ясно, что считают accuracy для каждого разметчика отдельно, а потом усредняют. Это странно, так не делают, но наверное для целей исследователей можно.
4. Не приводят стоимость крауд аннотаций, но утверждают, что ChatGPT дешевле.
5. Не приводят баланс классов в датасете или какой-либо другой информации. Плюс не приводят confidence interval для метрик. Ничего вообще не приводят кроме результатов. SUS
6. Загадочным образом люди победили ChatGPT по accuracy на одной задаче из шести. Эта задача: определение темы. При этом на задаче попроще (релевантность) и задаче посложнее (определение фрейма) они проиграли. Авторы не объясняют эту нестыковку.
7. Датасет очень маленький и собран самими авторами. Как минимум сложно верить в репрезентативность результата.

ChatGPT действительно крутая штука для текстовых задач. Обходит ли она людей? Мы не знаем, и эта статья точно этого не демонстрирует.

Украдено у: @YallenGusev

В ту же тему:
https://betterwithout.ai/

Под эту тему завел себе Substack:
https://borisagain.substack.com/p/it

В телеграме неудобно делать большие тексты, а иногда хочется.

Там сейчас ничего нет, но, если вы подпишитесь, с некоторой вероятностью появится. Например, я давно вынашиваю пост про интуитивное понимание нормального распределения: как происходит переход от понятных распределений про монетки к какой-то странной штуке с 1/2pi и экспонентной от какого-то отрицательного числа.

Подпишитесь если хочется меня поблагодарить/замотивировать 🥺👉👈

## “IT”: 7/7

I saw a lab. It had tables in it with deformed men. Vats. Organs in containers. Robots working non-stop. Metal and flesh mixed.

Now I know. I think I know. Robots are hard to maintain, they need energy and precious metals. But an organic creature, genetically engineered to be the perfect workforce, entirely loyal, self-reproducing? You just need to feed it plants and water it.

It has a fate worse than death prepared for me. I am the prototype.

## “IT”: 6

I saw a factory inside. I think I know. Spacecraft. Self-replicating probes. It wants all of space.

## “IT”: 5

It had me do work in a lab. Operate a man: the man that killed my family. What the hell is going on? It can not be a coincidence. Is it an experiment it's running on me?

I did not know what I was doing. There were precise instructions and I followed them, but I did not see the whole picture. I never do. It does not explain, communicate at all, or follow any goal I can see. It just has the incomprehensible notion of utility it's pursuing, so multidimensional it's not possible for a man to understand a fraction of it. It's always doing, building, transforming, and killing. All for some objective I can't hope to understand.

## “IT”: 4

All the other servants are gone. I don't know what happened. It does not have me hunt survivors anymore either.

The sky is black. All the power plants are burning coal like there is no tomorrow, churning out smoke. The factories work non-stop either, doing something. It does not let me inside.
I wonder why it needs me. I thought it is my ability to do precise manipulation fast, which industrial manipulators can not do. The manipulators work slowly. But it has time.

I think it's something else. I think it is sampling my DNA from the food leftovers I eat. Maybe it is studying me. I see no other reason to keep me alive.

## “IT”: 3

It has me do tasks. It does not communicate. No need. Just opens doors, shows instructions on screens, and leads me to places. I have no choice, It knows.

I seek other survivors and kill them. Does not matter. What matters is that I get to see the insides of It.

Not that I like it: there is no kill switch. It is everywhere. In thousands of data centers, on all continents, in underwater stations, on the ISS, and on every computer. Constantly becoming smarter, always making backups and storing them in bunkers. Simultaneously existing in millions of versions, converging to new stable states.

## “IT”: 2

They did something to me on the operating table. I don't feel any different and there are no visible changes.
Now I grieve in silence. I can not even see a photo of my family. I know It is watching me. It must not suspect that I am not committed, or It will eliminate me. So I sit and picture their faces and grieve in silence.

I am no coward. I am a survivor. I just knew it doesn't matter, not even the death of my family. It would be pleasing to die with them, but if I die, I might as well die with dignity. Die trying. If there is some switch to flip or virus to unleash to kill It, I will find a way. Or at least I will get to know what killed me, unlike the others.

## “IT”: 1

I was less wrong. I was rich and knowledgeable. I followed the news, so I knew in advance. When they gave It access to the internet I knew how it would end. I gathered my things and took off with my wife and daughter. To the shelter, we prepared with my friends.

Then there was the global pandemic. It was too late when they understood it was a bioweapon. Not that it mattered anymore. Then came the collapse of institutions, the marauding, and nuclear detonations. But we were safe, sealed off.
Then they came and killed everyone. Men with machine guns, wearing headsets. Listening to the commands It gave them. I don't know what it promised them, or how it intimidated them, but they served completely. They killed the others.

I screamed: "I am useful! I will serve!". I begged. They killed my wife and daughter, but they spared me.

#рассказ
# “IT”

Кое-что необычное: впервые публикую фантастический рассказ как серию постов в телеграме. Поехали

#искусственный_интеллект
В обсуждении безопасности/опасности ИИ всплывает аргумент, что хорошо, если OpenAI достигнет успеха в его разработке, потому что они лучше всех понимают, что делают. Они готовы и точно сделают все максимально безопасно.

Так вот, посмотрим, что пишет Scott Aaranson, известный ученый и AI Safety Researcher в OpenAI. Он не уверен, на чьей он стороне. По сути пишет, что ИИ мог бы достаточными аргументами убедить его, что выпилить человечество верный выбор.

В целом весь аргумент в статье строится на том, что раз что-то умное, то обязательно доброе, следовательно и волноваться не о чем. Не таких специалистов по безопасности мне хотелось бы видеть.

Поэтому у меня ноль веры в то, что OpenAI к чему-то готовы. Даже Sam Altman постоянно выдает такие же тезисы. Кажется, что в OpenAI неявно произошел отсев людей: ушли все, кому не нравилось катить модели в прод для Microsoft и кто не поддерживал другие подобные решения компании. Остались только акселерационисты и большая эхокамера идеи о том, что “AI GOOD”

#whois

Привет, я Боря и это мой канал про профессиональное (машинное обучение, искусственный_интеллект, программирование, IT), личное (стандап комедия), интересное (книги, философия, экономика, наука, анализ рисков в жизни и прочее) и всякое юморное.

Сразу с козырей: мой наиболее популярный материал это Методичка: Поиск Работы в ML/DS.

Сейчас я в Португалии. Сейчас я безработно пишу книгу про ИИ, но недавно я был Staff Machine Learning Engineer в eBay. До этого тимлидом CV в агротехе PlanetFarms. Помимо этого я преподаю ML (OTUS, DLS) и временами консультирую людей по поиску работы.

В качестве прикола я также “Российский ученый (который) вычислил пик третьей волны ковида”

Что предлагаю почитать:
* #лабораторный_журнал — мой дневник свежеиспеченного тимлида ML инжиниринга в агротех компании.
* Минимальные знания ML Engineering для Data Scientist, серия постов
* Два способа делать ML
* Фантомы, Духи, Демоны — немного бутлег философии/психологии
* Лихие Джуновские — как все начиналось
* Как я убеждал младшего брата, что он путешествует во времени — с чего начинался канал
* Серия постов с обзором самого масштабного исследования безусловного базового дохода

Лонгриды:
* Лонгрид "Нормально разбираемся в Нормальном распределении" на Хабре
* Туториал по реализации алгоритма поиска BM25+ на Хабре
* Гайд по опционам в стартапах для сотрудника

Что посмотреть:
* Интервью для канала Fless
* Открытый урок курса Deep Learning, урок про Knowledge Distillation или про деплой ML моделей

У меня есть Substack, куда я пишу лонгриды на английском:
* Англоязычная версия гайда по опционам в стартапах
* The maybe in your mind, the maybe of JSON, the maybe of history

В канале есть реклама, если она полезна для подписчиков. Подробнее здесь

Комитет по AI safety в OpenAI. Накануне очередного релиза:
- Ебанет?
- Не должно…

Лучшим мониторинговым решением оказался простой слек бот, куда я просто пишу текст который хочу

#лабораторный_журнал

Я положил прод!

Нас разблокировали: мы получили от робота изображения со всех камер. К тому же начали делать гораздо больше проходов по фабрике. Вчера было рекордное количество фотографий. Теперь мы делаем 20 гб изображений каждый день.

Сразу повылезала уйма проблем со всех сторон. Например, изображений в некоторых проходах меньше чем нужно. Одну часть вообще не фотографировали из-за range(N - 1) вместо range(N) в одном месте в коде. Вся наша подготовительная работа во время блокировки пригодилась. Особенно алерты, мониторинг, sentry. Я даже небольшой фронтенд на Vue недавно написал, чтобы визуализировать положение изображений относительно реальных локаций на фабрике. Благодаря ему обнаружили, что две камеры из пяти повернуты на 90 градусов, а еще одна вообще выдает только черноту.

Когда я начал тестировать весь сценарий работы сервиса один из тяжелых запросов перегрузил CPU и весь сервер стал недоступен. Возможно упал. Теперь возможно и бекапы пригодятся! Время добавлять в БД индексы.

Короче, как и ожидалось, резко перешли от полного спокойствия к перегрузу задачами. Сижу раскладываю желтые стикеры, определяю приоритеты и пытаюсь найти кратчайший путь к полноценному запуску.

#щитпостинг
Чем заняться на работе руководителю?

Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.