Глеб Кузнецов, t.me/s/glebsmith77, 1 октября

29 сентября в Белом доме шесть крупнейших штатовских бигтехов торжественно пообещали контролировать самих себя. Президент США расписался рядом и назвал это "почти конституцией". Официальное название: "Соглашение Белого дома о сверхинтеллекте. Совместное обязательство об ответственности на передовом рубеже".
Документ прямо поразительный. Но чтобы разобраться с ним, нужен не футуролог, а финдиректор.
В корпоративном мире есть "модель трех линий". Первая: менеджмент, который должен хотя бы сознательно не врать рынку. Вторая: риск-менеджмент и комплаенс, они следят, чтобы первая линия в процессе вранья от реальности не отрывалась. Третья: внутренний аудит, он проверяет, что первые две вроде бы работают. И над всем этим независимый аудит и аудиторский комитет совета директоров: он получает отчеты и следит, чтобы найденное исправили. Схема выросла из американской отчетности после Enron, закон Сарбейнса–Оксли сделал ее обязательной.
Открываем "ИИ-конституцию". Слой первый: внутренние контроли. Слой второй: внутренняя команда, которая проверяет контроли. Слой третий: внешний аудитор. Слой четвертый: комитет совета директоров. Та же модель, только вместо слова "финотчетность" вписано "фронтирные модели". Но бухгалтерский аудит работает, потому что существует внешний стандарт "правильного отчета". Аудитор это и проверяет: соответствует отчет стандарту или нет. В "конституции" такого стандарта нет. Тут проверяется, что контроли работают "as intended", буквально "как планировали". Аудит без внешнего стандарта - проверка того, что вы делаете то, что сами решили делать. Типа ИИ-модельки лепим, а не бордель на Среднем Западе открываем.
Чего в тексте нет? Нет ответа ни на один вопрос про ИИ. Нет, впрочем и самих вопросов. Кто отвечает, если модель ошиблась? Кому принадлежит то, на чем ее обучили? Что будет с трудом? Экология дата-центров. Стоимость электричества и компенсация за то, что бигтехи ее разгоняют. Где порог, после которого разработку останавливают? Два года назад в Сеуле на специальном саммите по безопасности ИИ те же компании обещали порог определить и за него не заходить. Сейчас определили: "нет такого порога". Зато Anthropic рассылает совершенно абсурдистские по интенции письма инвесторам: "Наша технология такая мощная, что может уничтожить человечество, несите сюда ваши денежки". Как если бы производитель героина в проспекте эмиссии описывал смерти от наркотика и говорил, что "уверенность в нашем финпотоке связана с привыканием с первой дозы".
Производитель хвастается поражающей способностью продукта, за который заплатят в основном те, кто его не покупал: рынок труда, энергосети, все остальные.
Хочется сказать: если вы действительно верите, что уничтожаете человечество, прекратите этим заниматься. А то возникает ощущение, что потенциальное "уничтожение цивилизации" - часть коммерческого предложения компании. Что такое сверхинтеллект из заголовка? Так теперь называется обычный ИИ, переименованный неделю назад, потому что слово "искусственный" звучит как поддельный и не нравится дедушке Трампу.
Кстати о Трампе. Обычно под "схемой трех линий" стоит подпись аудиторской компании из большой четверки за несколько миллионов долларов. Здесь стоит подпись президента под телекамеры. С учетом того, что Anthropic и OpenAI еще в июне подали заявки на IPO, подарок щедрый. Раздел о корпоративном управлении в проспекте эмиссии можно начинать словами "одобрено Белым домом".
Народ, без которого не обходится ни одна настоящая конституция, есть и здесь, в первой строке, как получатель "позитивного будущего". Дальше он появляется только как публика - та самая, что ничего не покупала, но которой предписано "испытывать доверие". Хорошо, не благодарность.
Трамп, конечно, не перестает восхищать. Настоящий царь Мидас нашего времени. Только вместо золота он превращает все, к чему прикасается, в смесь неадекватной похвальбы с проституированием любой содержательной дискуссии. Два года назад те же самые бигтехи хотя бы готовы были что-то обсуждать. Сейчас - нет. "Будущее великолепно. Доверие - испытать. Раз-два".