2025-11-05

И риски, и ИИ

Месяц назад сидел на сцене Казань Диджитал Вик, в секции «ИИ в медицине». Панель стандартная: несколько продажников из биг и медиум теха с интригующими презентациями о скорой (главное начать сейчас!) революции в здравоохранении, рядом зам. министра из союзной республики, ровно рассказывающий, как они обязали все частные клиники передавать медицинские данные государству под угрозой отзыва лицензии. В аудитории 50% айтишников, 50% — врачей. Вопросы из зала, в основном, касались того, что делать в случае если нейронка сработает плохо: мало кто спрашивал о картине будущего, в которых эти обученные на огромной выборке в 5000 снимков нейронки будут работать хорошо.

Я выступал последним, с своими любимыми тезисами о том, что риски применения нейросетей вместо человека неконтролируемы, добиться отсутствия галлюцинаций в текущей модели невозможно, нас ждут жуткие последствия статистической дискриминации, а нормально регулировать алгоритмы правом невозможно, в общем все, о чем я вещаю третий год с ожидаемым результатом.

Из-за появления некоторой остроты впечатления аудитории от умиротворяющих презентаций продажников смазывалось, часть посетителей даже проснулась, и где-то на середине спича лидер группы поддержки выступающего продажника из технологичной компании задал мне острый и остроумный вопрос:

— Почему мы боимся рисков, связанных с ИИ, но не боимся летать на самолетах? Отвечать чем-то кроме шутки на этот вопрос было бы преступлением, а на деле боимся мы этого по двум причинам.

Крутое пике

Существует много видов созданных человеком систем: личная продуктивность и магия утра, рабочие процессы, методология записи ко врачу через странный полис ДМС, методология оценки состояния пациента, «‎единая» медицинская информационная система, правила именования переменных внутри этой системы, архитектура ее api и еще миллион других.

Каждая из этих систем имеет риски и слепые пятна. Например, если утром начать смотреть короткие видео — день можно списывать, ничего продуктивного там уже не произойдет. Или если вдруг в Едином Архиве Всех Медицинских Данных Людей произойдет пожар — лечить людей станет очень сложно. Или если нейронка ошибется, то пациенту отрежут не ту ногу (что временами случается и без всяких нейронок). Владеет ли кто-то рисками этих систем, или мы в основном учитываем их до момента наступления? Ответ, как водится, нужно искать в далеком прошлом.

К примеру, в римском праве различали держание и владение.

Держание — обладание вещью без воли относиться к вещи как к своей: арендатор дома, работник предприятия, перевозчик груза. Владение — обладание с выраженной волей считать вещь своей и защищать это положение: землепашец, который обрабатывает свою землю, или покупатель дома, который начал его ремонтировать.

В контексте корпоративных рисков речь всегда идет про держание. Любая технологическая компания работает следующим образом: риск выявляют, учитывают, объявляют лицо, которое принимает риск, а когда риск наступает - компания делает вид, что это просто обстоятельства так сложились, и больше этого не повторится (оно повторится).

Гражданская авиация - пример обратного подхода. За последние сто лет риск гибели человека в авиакатастрофе снизился с одного случая на 600 полетов до одного случая на 2.5 миллиона полетов.

Чтобы повысить драматичность, переведем эти цифры в живые примеры: сто лет назад летающий каждый день пассажир попал бы в катастрофу через пол года. Если современный пассажир будет летать каждый день, то попадет в катастрофу через 50 000 лет.

Или если бы безопасность осталась на уровне 1920-х, каждый крупный аэропорт мира терял бы самолет каждый день. Сейчас же вся мировая авиация теряет в среднем один самолет на несколько миллионов рейсов (включая малую авиацию, летающую на кукурузниках и железной воле пилота).

Ключ этого прогресса в институализации обучения на ошибках. Черные ящики, протоколы и процедуры снятия ответственности за сообщение об ошибке, и постоянное стремление к абсолютному операционному совершенству. В этом стремлении авиация работает, прежде всего, с процессами: фактор компетентности индивидуума исключается из уравнения и заменяется Процедурой.

В медицине ситуация противоположная: в США от врачебных ошибок, в среднем, умирает от 250 до 400 тысяч человек в год (до ковида), цифра не особо меняется, каких-то значимых улучшений не происходит. Проблема не в том, что врачи плохие, а аэронавты хорошие: дело в диссонансе профессионального самоощущения. Медицинская, инженерная, юридическая профессии построены на «‎компетентности».

Компетентность - это такое ощущение в котором лицо-оператор Точно Знает Что Делает Потому Что Хорошо Подумало. Любая ошибка приводит к разрушению ощущения компетентности: если профессиональная идентичность работает на разумении, нет ничего сложнее чем сказать «‎простите, друзья, я облажался».

Ошибка для людей, живущих на компетентности — эмоциональное табу. Мысль об ошибке вызывает стыд и страх (это, в целом, коммон ноуледж: команда, которая подсвечивает автора куска кода в системе контроля версий называется git blame). Публичность допущенной ошибки ставит под вопрос валидность существования Компетентного Человека.

Чтобы сохранить ощущение компетентности после ошибки, оператор-профессионал говорит, что дело было сложное, судья просто зверь, пациент не выдал нужные сведения, у нас было слишком мало данных а дурак Иванов (он даже не на нашем Факультете учился) неправильно назвал переменную в тримиллиардшестнадцатой строке кода.

Поскольку ошибки а) списываются на обстоятельства и б) вызывают жгучий стыд, системный цикл обучения в компетентно-центричных профессиях, по сути, отсутствует. Из этого следует скрытое поддержание статуса-кво. Если зайти на любой сайт поставщиков профессиональных услуг, то можно будет увидеть миллион красивых кейсов и ноль историй с сюжетом «мы облажались». А ведь ошибки есть в каждом проекте.

У юристов все еще хуже: ошибка реализуется через 3 года после того, как ты ее допустил. В итоге обучение похоже на игру в дартс с завязанными глазами в темной комнате под чарующие звуки гаражного дез метала на полную громкость: учиться чем-то можно только на описании бросков других людей пятилетней давности в неизвестных условиях, а еще на собственном опыте, который становится релевантным где-то на десятый год в профессии. Но об этом я напишу отдельный лонг, вернемся пока к нейронкам.

Все нейросети существуют в когнитивной категории компетентности. Мы оцениваем инженера по его компетентности, модель — по проценту успешного результата, стоимость компании — по рыночной позиции. Это как если бы в авиации самым безопасным самолетом считался бы самый большой, красивый и дорогой. В итоге, вся индустрия так называемого искусственного интеллекта живет в парадигме будущих достижений, которые вот вот наступят, а ошибки списываются на то, что вот вот еще не наступило.

Любому дураку интуитивно понятно, что доверять таким штукам вопросы жизни и смерти просто нельзя: ошибка будет списана на обстоятельства и затерта, а работа над тем, чтобы не допускать таких ошибок в будущем если и произойдет - то на волне вполне понятного любому представителю компетентной профессии чувства вины, а не любопытства.

Это и есть первая причина того, почему мы не доверяем нейросетям. Компания будет владеть нейронкой, но будет держателем ее ошибок. Владение ошибками подразумевает открытость, а открытость — передача своего конкурентного преимущества «‎компетентности».

Все Большие Технологические Компании гордятся штатом высокооплачиваемых инженеров с phd лучших вузов и сознанием, способным искажать пространство-время вокруг себя. По забавному стечению обстоятельств, эта же демография тяжелее всего воспринимает удары по собственной компетентности.

Никто и никогда и ни в каком технологическом бизнесе не пойдет по пути авиации, поэтому нейронки будут ошибаться, и ошибки будут ложиться на пользователя.

Премиальный ширпотреб

В конце недели я зашел в одну сетевую кофейню (назовем ее Skate Beans), выпил там невкусный фильтр, съел невкусный хот-дог и отдал за это все примерно косарь. Прямо напротив этой кофейни есть вторая сетевая кофейня с ценами пониже, в которой я мог бы выпить такой же невкусный фильтр и съесть такие же жиры с углеводами, но в два раза дешевле.

Почему же на протяжении нескольких лет каждый раз при желании выпить кофе я выбираю Skate Beans?

Дело в том, что Skate Beans дает ощущение эстетизированной нормальности, иллюзию индивидуальности, демонстративной рациональности и премиальной посредственности. Еда, на которую смотреть приятнее, чем жевать, кофе который сделан в том же термосе их тех же зерен что и в соседней кофейне, вайбик отпуска, незапоминающаяся, но с любовью подобранная музыка.

Мне очень нравится это ощущение премиального ширпотреба: в этой кофейне я не просто засовываю в организм малоэффективный стимулятор и мусорные калории, я Наслаждаюсь Опытом, и бариста Наслаждается Опытом, и другие посетители тоже Наслаждаются Опытом, даже эспрессо в бумажном стаканчике Наслаждается Опытом. За какой-то жалкий косарь меня возносит на Олимп Осмысленного Потребления, и от меня ничего не требуется взамен.

Суть этой премиальной посредственности в оптимистической готовности к успеху за счет того, что находишься в нужном месте в нужное время, пусть даже ненадолго, даже если не имеешь ни малейшего представления, как именно что-то должно произойти в этот момент. Даже если не знаешь ничего другого, ты знаешь одно: нужно поехать в большой город, нужно работать в большой компании, нужно пользоваться нейросеткой, с ней случится что-то хорошее, не нужно сидеть сиднем в своей деревне или в эпохе web 2.0, где точно ничего не произойдет, и где само любопытство к чему-то за его пределами уже считается культурным нарушением.

Это стратегия, доступная для всех.

Со стороны технологий демократизация всего, что раньше считалось по-настоящему премиальным, через устранение надменных, но компетентных экспертов вроде доктора Хауса под лозунгом свободы выбора потребителя или повышения качества жизни или увеличения доступа к квалифицированной медицинской помощи создаёт премиально-ширпотребный продукт.

По такому принципу и работают нейросети. Заплатив две тысячи рублей в месяц я получаю доступ к не поддающейся осмыслению группе математических моделей, которые как будто бы разговаривают со мной на понятном языке. Эти модели могут заменить мне юриста, врача, психолога, личного тренера, маркетолога, редактора, абсолютно любого эксперта по абсолютно любому вопросу. Модель будет знать все, и на все даст мне премиальный, дружелюбный, поддерживающий позитивную петлю обратной связи и похожий на правду ответ. Всего за 5-10 секунд, и почти бесплатно. Конечно же, у нормального человека на третьем использовании любой нейросетки активируется сигнализация, а буллщит-мер подскакивает до отметки 100.

Потому что вчитываясь в ответ, мы видим ширпотреб, и настоящие эксперты, читая экспертные ответы нейросети, видят в сто раз больше ширпотреба, и налет премиальности слетает, и врач поглядев на это технологическое чудо остается с тем же ощущением горького вкуса во рту, что и я после недавнего посещения моей любимой сетевой кофейни. Особенно это иронично на фоне многочисленных курсов о том как использовать «‎ии» для юристов, программистов, инженеров, врачей, нужное подчеркнуть.

Горький вкус сложно отрефлексировать, и еще сложнее заявить о нем во время большой важной панельной дискуссии, но избавиться от него невозможно, и чтобы не ставить под удар самоощущение компетентности, врачи конечно же будут говорить прежде всего о рисках, проблемах и вещах, которые коснутся пациентов. Любые классические эксперты будут искать в работе нейросети причины ей пользоваться, и будут искать их через риски для их компетентности, потому что если причины не найти — мы остаемся с одним только горьким вкусом во рту.

К этому добавляется проблема главного врача Ex Machina в том, что он не человек. В системе Мед-ИИ нейронка ставится в доминирующее положение, на прикольной стороне границы api: она решает, кого лечить, кого направить, какие данные считать достоверными, какие протоколы нужно обновить, и над какими ошибками стоит подумать.

На неблагополучной стороне api же остаются те, кто взаимодействует с живыми людьми, но не управляют логикой системы: врачи, которые учились 8 лет и работали 20 конечно же не рады такой перспективе.

При этом, сдвиг незаметен, потому что происходит не в конкретной клинике и не особо связан с нейронками: он происходит во всей медицинской системе. Уездных врачей больше не существует, для доктора Хауса больше нет а может никогда и не было места, решения смещаются вверх, в бесконечные клинические рекомендации, требования минздрава, стандарты оказания мед. помощи, и в код который написал старший инженер-программист за столиком премиум-ширпотреб кофейни.

Ответственность же передвигается вниз, к исполнителям. За смерть будет отвечать не нейронка, а конкретный врач, и отзывы в интернете пишут не о клинических рекомендациях или совершенстве медицинской технологии, а о конкретном враче - бедолаге, который должен действовать по 10 противоречащим инструкциям, на которые не может повлиять.

Алгоритм не имеет стыда, а врач теряет суверенитет. Если верить ораторам панельной дискуссии, то в самом лучшем будущем медицина превратится в сервис вызова такси, но для диагностики и терапии: каждый врач рискует оказаться водителем, который просто крутит баранку по навигатору и на исходе 22-часовой смены врезается в столб.

Походу это реально страшнее, чем летать.