Иронии автоматизации (Бейнбридж, 1983)

Лизанна Бейнбридж (Lisanne Bainbridge), работавшая тогда на факультете психологии Университетского колледжа Лондона, опубликовала эту пятистраничную краткую статью в журнале Automatica (vol. 19, no. 6, pp. 775-779) в 1983 году. Она выросла из доклада на конференции IFAC/IFIP/IFORS/IEA по человеко-машинным системам в Баден-Бадене в сентябре 1982 года. Её тема - промышленные предприятия с непрерывным циклом (process plants), с примерами из кабин самолётов, а её тезис укладывается в одно предложение: "чем более совершенна система управления, тем более важным может оказаться вклад человека-оператора". Паттерн, названный в честь статьи, разобран на отдельной странице ironies-of-automation; эта страница посвящена самой статье.

Она начинает с определения понятий, так как название опирается на них. Ирония - это сочетание обстоятельств, результат которых прямо противоположен ожидаемому. Парадокс - внешне абсурдное, но, возможно, вполне обоснованное утверждение. В статье используется и то, и другое.

Две иронии проектировщика

Классическая цель автоматизации - заменить ручное управление, планирование и решение задач человеком на машины, причём проектировщик часто исходит из того, что оператор ненадёжен и неэффективен. Бейнбридж видит в этой позиции две иронии. Ошибки проектировщика сами по себе выступают основным источником проблем при эксплуатации, хотя те, кто собирает такие данные, не горят желанием их публиковать. Кроме того, проектировщик, пытающийся устранить оператора, всё равно оставляет человеку всё то, что не придумал как автоматизировать. Человек в итоге получает произвольный набор задач, который никто не проектировал как осмысленную работу, а о поддержке оператора почти не думают.

С чем остаётся оператор

Остаются две задачи: следить за тем, что автоматическая система работает, и брать управление на себя, когда она даёт сбой.

Перехват управления требует навыков ручного контроля, а эти навыки деградируют. Опытные операторы совершают ступенчатое изменение минимальным числом действий, и процесс плавно стабилизируется, тогда как неопытные вводят его в колебания. Физические навыки угасают без практики, в первую очередь тонкое чувство коэффициента усиления и тайминга, поэтому оператор, годами занимавшийся лишь мониторингом, перехватывает управление на уровне новичка. Хуже того, перехват происходит, когда что-то уже пошло не так, что требует нестандартных действий. Оператор должен быть более квалифицированным и менее загруженным, чем обычно, именно в тот момент, когда автоматизация сделала его менее квалифицированным и более перегруженным.

Диагностика требует когнитивных навыков, и Бейнбридж делит их на две категории. Долговременные знания о поведении процесса эффективно извлекаются из памяти только при частом использовании, а формируются они исключительно через практику и обратную связь, так что лекционное обучение без реального опыта оставляет мало следа. Самая резкая фраза здесь касается смены поколений: за текущим поколением автоматизированных систем следят бывшие операторы ручного управления, которые "выезжают на своих навыках, которых у последующих поколений операторов взяться неоткуда".

Второй когнитивный навык - то, что она называет оперативным хранилищем (working storage). Оператор в процессе управления держит в голове не сырые показания приборов, а прогнозы и решения о том, куда движется процесс, и на построение этой картины требуется время. Операторы ручного управления приходят за 15-30 минут до начала смены, чтобы прочувствовать состояние установки. Тот, кто в спешке перехватывает управление автоматизированным заводом, лишён этой картины и действует в условиях минимума информации.

Мониторинг

Мониторинг кажется простой задачей, и Бейнбридж разбирает его на части. Исследования бдительности, восходящие к работам Макворта (Mackworth) 1950 года, показывают: никто, как бы ни был мотивирован, не может удерживать эффективное зрительное внимание на источнике с редкими событиями дольше получаса. Непрерывное отслеживание редких аномалий физически недоступно человеку и перекладывается на аварийную сигнализацию, что порождает вопрос: кто заметит, если откажет сама система оповещения? Традиционное решение обязать операторов вести журнал помогает мало: "люди могут записывать цифры, совершенно не осознавая, что это за значения".

Более глубокая ирония в том, что автоматику внедрили как раз потому, что она справляется с работой лучше оператора, а затем оператора просят проверять, насколько хорошо она работает. Если решения системы можно полностью специфицировать, компьютер принимает их быстрее, учитывает больше параметров и опирается на более строгие критерии, чем любой человек. Человек может лишь на некотором метауровне судить, выглядят ли решения приемлемыми, а если компьютер внедряли из-за ненадёжности человеческих суждений, то нет оснований доверять и такой оценке. "Человеку-наблюдателю поручили невыполнимую задачу".

Существует и вопрос статуса. Бейнбридж упоминает автоматизированное предприятие, где руководству приходилось присутствовать на ночной смене, иначе операторы переключали процесс на ручное управление. Мастерство - часть профессионального статуса работника, работа, сведённая к мониторингу, "очень скучна, но крайне ответственна", а потерявшие квалификацию работники, требующие высокой зарплаты, держатся за последний символ статуса, который сама работа больше не подтверждает.

Подходы к решениям

Перед тем как предложить решения, она переформулирует проблему в виде парадокса: автоматизируя процесс, оператору поручают задачу, с которой может справиться только тот, кто непрерывно ведёт ручное управление в реальном времени.

Что касается мониторинга: маловероятное событие, требующее быстрой реакции, нуждается в технической поддержке, "при необходимости вплоть до сигнализации для сигнализации", хотя обилие мигающих красных ламп скорее дезориентирует, чем помогает. Автоматика способна замаскировать отказ, компенсируя его вплоть до момента, когда тренд выйдет из-под контроля, поэтому автоматические системы должны также отслеживать необычные изменения параметров и отказывать явным образом. Плавная деградация (graceful degradation) названа преимуществом человека, и стремиться к ней в компьютерах не следует. Если человек должен следить за решениями компьютера, компьютер обязан принимать их понятными человеку методами и с доступной ему скоростью, даже если этот метод не самый эффективный. Искусственное повышение частоты сбоев ради поддержания бдительности операторов подорвёт их доверие; кроме того, одно из исследований показало, что эффективность с компьютерными подсказками падала, поскольку оператор всё равно принимал решения сам, а проверка компьютера лишь создавала дополнительную нагрузку.

В отношении оперативного хранилища ответ зависит от скорости развития аварий. Если остановка процесса проста и дёшева, останавливать нужно автоматически. Если сбой развивается за секунды без предупреждения, необходима надёжная автоматическая реакция любой ценой, "а если это невозможно, то процесс вообще не следует строить, если цена аварии неприемлема". Для более медленных сбоев время можно выиграть за счёт доведённых до автоматизма ручных действий, регулярно отрабатываемых на высокоточных тренажёрах.

Для поддержания долговременных знаний операторам стоит давать поработать на ручном управлении короткое время в каждую смену, а "если это предложение кажется смехотворным, необходимо обеспечить тренировки на тренажёрах". Тренажёры не могут научить неизвестным поломкам, поэтому обучение должно строиться вокруг общих стратегий, а не заученных реакций, да и регламенты не способны предусмотреть всё. "Иронично обучать операторов строгому следованию инструкциям, а затем встраивать их в систему ради проявления интеллекта". Раздел завершается самой известной фразой статьи: "Возможно, высшая ирония состоит в том, что именно наиболее успешные автоматизированные системы, редко требующие ручного вмешательства, могут требовать наибольших инвестиций в обучение оператора-человека".

Взаимодействие человека и компьютера

Заключительный раздел рассматривает способы, с помощью которых компьютеры могли бы поддерживать операторов, а не заменять их, и находит иронию почти в каждом из них. Первое предложение раздела - сжатый тезис всей статьи: "Забирая на себя простые части задачи, автоматизация способна сделать сложные части работы человека-оператора ещё сложнее". Подход списков Фиттса (Fitts list), распределяющий задачи по принципу "что человек/машина делает лучше", игнорирует вопросы интеграции этих двух компонентов и поддержания навыков и мотивации человека.

Подсказки от компьютера делают оператора медленнее и менее вовлечённым, чем самостоятельная выработка действий, и не дают практики в проявлении "интеллекта". Проверка ошибок работает лучше, когда оцениваются последствия действий, а не их последовательность, поскольку проверка последствий ничего не предполагает о стратегии оператора. Экранные интерфейсы, оптимизированные под штатный режим, могут маскировать аномалии; дисплеи, переключающиеся под предполагаемый уровень квалификации оператора, способны запутать в условиях цейтнота; а уже обработанная информация даёт меньше понимания, чем данные, над которыми оператору приходится подумать: "Было бы крайне иронично выяснить, что наиболее удобный интерфейс в итоге оказывается вовсе не лучшим для оператора!" При совместном распределении нагрузки человек обязан понимать, какие задачи и как именно решает компьютер, иначе всё будет напоминать команду людей без чёткого разделения ответственности.

Вывод скромен. Люди без дефицита времени отлично решают проблемы, но в условиях цейтнота их эффективность падает. Автоматизация не обязательно устраняет сложности, а их преодоление может потребовать куда большей технологической изобретательности, чем потребовала классическая автоматизация.

Почему статью продолжают цитировать

Примеры в статье взяты из диспетчерских пультов вроде показанных на soviet-control-rooms, но её логика универсальна, поэтому авторы в сфере разработки ПО постоянно к ней возвращаются. ai-sre-losing-touch применяет её к реагированию на инциденты с ИИ и заимствует рецепты регулярной практики и тренажёров. skill-atrophy-supervision-paradox представляет собой версию иронии мониторинга применительно к кодинг-агентам, выведенную независимо от Бейнбридж. Шлюзы согласования human-in-the-loop сажают человека ровно на то место наблюдателя, которое она описывает. ironies-of-automation собирает эти примеры воедино и отмечает, где аргументы из области промышленных производств переносятся на ПО, а где нет.