Системы искусственного интеллекта (ИИ) часто хвалят за их впечатляющую производительность в широком спектре задач. Однако многие из этих успехов скрывают общую проблему. Все слышали поговорку: «В жизни нет коротких путей». Чтобы по-настоящему добиться успеха в каком-либо деле, нужно усердно работать и проявлять упорство — недостаточно найти способ сократить путь. Оказывается, когда искусственный интеллект (ИИ) обучают выполнять различные задачи, он тоже иногда склонен выбирать короткие пути для решения, а это может привести к неожиданным и даже опасным последствиям. Вместо того, чтобы по-настоящему учиться выполнять поставленную задачу (как это видят для себя люди), сервер может просто отмечать упрощённые закономерности в предоставленных ему примерах. Например, ИИ, обученный распознавать животных на фотографиях, может полагаться на фон, а не на само животное. Но бывают случаи гораздо критичнее — срезание пути может привести к серьёзным ошибкам, таким, например, как постановка диагноза на основе больничных меток, а не реальных данных о конкретном пациенте.
Эти ошибки случаются даже в продвинутых системах, обученных на миллионах примеров. Понимание того, как и почему алгоритмы нейросетей (более сложные, в организации логического машинного мышления, системы) действуют при анализе входящей информации, может помочь исследователям разработать более эффективные методы обучения и избежать скрытых сбоев. Чтобы сделать ИИ более безопасным и надёжным, специалисты должны помочь ему развить истинное понимание задачи, а не просто догадываться, основываясь на шаблонах, которые работали в прошлом.
Много лет специалисты по информатике пытались написать программы, способные ответить на подобные вопросы, но им это удалось лишь отчасти. За последнее десятилетие производительность искусственного интеллекта значительно возросла, и сегодня компьютеры (а точнее, это уже целые высокопроизводительные сети, состоящие из серверов, расположенных в центрах обработки данных) могут описывать изображения с очень высокой точностью. Многие разработчики утверждают, что их «программные детища» могут описать любое изображение с помощью искусственного интеллекта. Это отчасти соответствует истине. Но тоже не всегда. А вот когда надо подвергнуть серьёзной аналитике целые массивы разрозненных данных, да ещё представленных в различном формате – тут алгоритмы часто поддаются «соблазну» спрямить путь. Такие массивы могут состоять из совокупности таблиц, текста (растрированного и в шрифтах), изображений с различным расширением и компоновкой (с фоном или без оного, с разным представление битности глубины цвета), элементов программного кода и т.п. При таких условиях очень многие нынешние «продвинутые» разработки допускают неловкие ошибки по непонятным, для человеческого мозга, причинам.
Почти каждый используемый сегодня инструмент искусственного интеллекта основан на технологии машинного обучения. Это метод, позволяющий компьютеру учиться выполнять сложные задачи на основе примеров, а не заставлять инженеров заранее программировать его на решение каждой проблемы. Давайте разберём примитивный пример: представим, что есть целый массив несложных математических уравнений, в которых правая и левая колонки представляют собой суммы чисел, а задача состоит в том, чтобы сравнить какая из сумм большая. Итак — в каждом упражнении два арифметических выражения, и вам нужно записать, является ли результат в левой части больше (>) или меньше (<) результата в левой части. Если бы мы попросили программиста написать программу для решения этого упражнения, он, вероятно, написал бы код, который вычисляет выражение в правой и левой части по отдельности, а затем сравнивает их. Именно так работали программы примерно 20 лет назад: инженеры придумывали решение, а затем писали код для компьютера, чтобы реализовать его. Современный подход заключается в том, чтобы просто предоставить ИИ множество примеров вопросов вместе с правильными ответами на каждый вопрос и позволить ему найти правило решения самостоятельно, основываясь на явных инструкциях, определяющие выходные данные метода для заданных входных данных.
Освоив правило, ИИ может применять его к новым примерам, на которые у него нет ответа. Именно этот подход, основанный на машинном обучении, обеспечил значительный рост производительности ИИ в последние годы. Однако у этого подхода есть проблема, которую мы сейчас продемонстрируем на простом примере.
Предположим, мы даём ИИ десять заданий с правильным ответом на каждое. Как вы помните, ИИ пытается вывести правило из тренировочных заданий. Правило будет выглядеть примерно так: «Если выполняется определённое условие, ответ будет со знаком больше (>); в противном случае ответ будет с противоположным знаком». Но стоит уделить пристальное внимание тому, как машина может интерпретировать предоставленные ему входные примеры, если там, например, в колонке с большей суммой будет всегда три числа, а в меньшей колонке два числа. ИИ может для себя решить, что в том разделе, где количество чисел больше — то и сумма будет больше. А это в корне неверно, так как даже если условие даёт правильный ответ для всех обучающих примеров, то во многих других случаях такой алгоритм неизбежно окажется неверным. Это упрощённое решение, не основанное на реальном понимании. Но для компьютера, вздумавшего «срезать путь», такой алгоритм, несомненно, будет проще, чем вычислять результаты всех выражений. Тут надо учесть, что это мы ещё в данном примере не учли варианта, в котором суммы будут равными – для человека эта ситуация проста и очевидна, а вот для машинной логики это всё усложняет ещё больше.
А вот теперь усложним задачу: предположим, что мы показываем ИИ множество изображений с описаниями, на одних из которых изображены бегущие верблюды, а на других лошади (на самом деле могут быть более сложные прикладные задачи: медицинские изображения больных или здоровых пациентов с соответствующей маркировкой). Можете ли вы придумать сокращённое описание, чтобы правильно характеризовать по отличительному признаку, каждый пример? Это надо для нейросети, чтобы правильно распознать, на каких изображениях лошадь, а на каких верблюд. Так вот — если у всех примеров верблюды будут на фоне песков, а лошади на фоне зелёного антуража — то машина для себя может легко вывести закономерность, что принадлежность животного надо определять по фону. И если показать потом фотографию бегущей в песках лошади — то ИИ выдаст ответ, что это однозначно верблюд.
Этот пример того, как короткий метод идеально решает для сервера задачу на всех представленных тренировочных изображениях. Однако, конечно, он не решит правильно другие примеры. Возможно, инструмент искусственного интеллекта усвоил аналогичный метод и поэтому допустил ошибку на изображениях, где мы изменили фон. Оказывается, многие успешные версии ИИ для описания изображений склонны к изучению схожих сокращений. В исследовании, опубликованном в 2022 году, оценивались несколько передовых инструментов ИИ для описания изображений. Исследование показало, что при попытке описать любое изображение из интернета инструменты давали верные результаты более чем в 80% случаев. Но когда объект перемещался на другой фон, точность оказывалась лишь в 35% случаев. По-видимому, сокращение, позволяющее идентифицировать объект на изображении по его фону, для нейросетей особенно заманчиво!
В другом исследовании было собрано множество доказательств критичности сокращений такого типа, где искусственный разум научился распознавать пневмонию по рентгеновским снимкам грудной клетки, на основе чего взялся определять, болен человек или здоров. Однако оказалось, что система вообще не анализировала лёгкие на фотографии, а вместо этого обнаружила, что метка больницы на изображении может указывать на то, здоров человек или болен, и сосредоточилась на этом. Это сокращение чрезвычайно опасно: возможно, метка была релевантна в обучающих примерах, которые видел ИИ, но страшно представить, что произойдёт, если его попросят осмотреть другого пациента из другой больницы.
Затем было проверено 14 различных инструментов ИИ, предназначенных для медицинской диагностики, и было обнаружено, что они широко используют сокращения такого типа. Инструменты были протестированы на различных задачах, включая выявление коронавирусной инфекции или увеличенного сердца на рентгеновских снимках, диагностику сердечных заболеваний путём прослушивания через стетоскоп и многое другое. Исследователи предположили, что компьютерная система не будет фокусироваться исключительно на медицинской информации и научится использовать уникальные условия измерения для каждого случая, что позволит ей использовать сокращения. Например, если врач подозревает, что у пациента коронавирус, он может отправить его на рентген, используя другое устройство, а не то, которое он отправил бы пациента, который выглядит здоровым (например, из соображений безопасности медицинского персонала). Нейросеть смогла идентифицировать разницу между измерительными устройствами и определять, болен человек или здоров, на основе типа используемого устройства, не изучая само изображение. Исследователи обнаружили, что все 14 протестированных инструментов использовали такое сокращение, которое основывалось на характеристиках оборудования, а не на медицинской информации. После проведения испытаний в новой больнице производительность системы значительно снизилась, поскольку метод «спрямления пути» перестал работать. Это, конечно, серьёзная проблема при попытке интегрировать ИИ в реальные медицинские ситуации.
Исследователи бьются над разработкой более эффективных методов машинного обучения, которые могут предотвратить сокращения. Один из способов — обучение ИИ с помощью всё большего количества корректно подобранных примеров. Вернёмся к нашему обсуждению математических упражнений: если вместо того, чтобы давать ИИ только несколько обучающих примера, мы дадим ему целые учебники по математике? Вполне вероятно, что сокращения, которые мы наблюдали, больше не будут работать, а нейросети придётся искать другое решение. Однако даже когда количество примеров огромно, невозможно гарантировать, что ИИ не найдёт другого сокращения. В упомянутом исследовании по описанию изображений было установлено, что даже несколько нейросетей, работающих на различных алгоритмах и обученные на сотнях тысяч изображений, использовали сокращения, определяя вид животного на основе фона.
Если бы мы заранее знали, какое сокращение может быть использовано, мы могли бы попытаться предотвратить его на этапе обучения. Например, предположим, что мы не хотим, чтобы ИИ распознавал животных по их фону во время обучения. В этом случае мы можем показывать различные изображения, на которых каждое животное изображено на случайном фоне, например, верблюд на снегу. По мере добавления таких примеров в обучение, сокращение, определяющее животное по его фону, перестанет работать. Но здесь есть проблема: этот подход фокусируется на сокращениях, которые нам уже известны. Даже если мы избежим этого сокращения, мы не сможем предотвратить другие сокращения, о которых мы не знаем, например, зависимость от условий освещения.
Люди и другие животные (не являющиеся искусственным интеллектом) также склонны учиться сокращёнными методами. Например, многие студенты готовятся к контрольной работе по математике, решая вопросы из предыдущих тестов, а затем иногда отказываются от попыток понять материал. В начале 20-го века лошадь по кличке Умный Ганс прославилась тем, что, как утверждается, могла решать математические задачи. Когда её спрашивали, сколько будет 9 + 5, она барабанила копытом 14 раз. Психолог Оскар Пфунгст изучал поведение лошади и пришёл к выводу, что она могла «решать» математические задачи, используя сокращённый метод. Лошадь продолжала барабанить до тех пор, пока «язык тела» (невербальные реакции) спрашивающего не «показывал» ей (без его ведома), что он достиг правильного числа. Как только лошадь лишали зрительного контакта с спрашивающим, этот метод переставал работать, и ответы Умного Ганса почти всегда оказывались неверными.
Несмотря на всё вышесказанное, не стоит терять надежды. В последние годы мы увидели, как искусственный интеллект во многом превосходит возможности человека. Например, он победил чемпиона мира по шахматам, но при этом проиграл устаревшему компьютеру с линейной логикой, который перебирал все возможные варианты. Сегодня генеративный искусственный интеллект также помогает учителям и студентам решать самые разные задачи, от поиска информации до генерации текстов (тут тоже надо признать, что достоверность информации во многих из них, критически недостоверна). Но программисты и учёные продолжают разрабатывать методы машинного обучения, которые значительно снизят зависимость компьютерных нейросетей от упрощений. Возможно, однажды научному сообществу удастся этого добиться.
