Этическая ненейтральность систем искусственного интеллекта

Материал из MachineLearning.

Версия от 15:57, 1 июля 2026; David Serafimov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

Этическая ненейтральность систем искусственного интеллекта — принцип, согласно которому система искусственного интеллекта не является полностью нейтральным инструментом, значение которого определяется только намерениями пользователя.

Проектирование системы неизбежно включает выбор:

  • какую задачу решать;
  • какие данные собирать;
  • какие свойства объектов измерять;
  • какие категории использовать;
  • какую ошибку считать наиболее существенной;
  • какой показатель оптимизировать;
  • кому предоставить право принимать решение;
  • какие последствия считать допустимыми;
  • кто может оспорить результат работы системы.

Эти решения выражают представления о полезном, справедливом, допустимом и желательном. Они могут быть сформулированы явно либо оставаться скрытыми в данных, метриках, интерфейсах, организационных процедурах и способах применения модели.

Этическая ненейтральность не означает, что любая программа самостоятельно обладает моральными убеждениями или несёт ответственность как человек. Она означает, что техническая система создаётся и применяется людьми, действует внутри социальных институтов и способна поддерживать определённые отношения власти, распределения ресурсов и ответственности.

Содержание

Тезис о нейтральности инструмента

Распространённая позиция состоит в том, что технология сама по себе нейтральна, а нравственная оценка зависит только от способа её использования.

В простой форме этот тезис можно выразить так:

  • один и тот же инструмент можно использовать ради хорошей или дурной цели;
  • следовательно, оценивать следует пользователя, а не устройство инструмента.

Эта мысль частично верна. Например, одна и та же система распознавания изображений может применяться для поиска дефектов оборудования или для незаконного наблюдения.

Однако из возможности разных применений не следует полная нейтральность конструкции. Возможности, ограничения и типичные способы применения зависят от того, как именно система спроектирована.

Технология может:

  • облегчать одни действия и затруднять другие;
  • предоставлять полномочия одним участникам и ограничивать других;
  • делать определённые свойства видимыми, а остальные — неучитываемыми;
  • поощрять конкретное поведение;
  • превращать ранее невозможное действие в массовое и дешёвое;
  • переносить принятие решения от человека к организации или алгоритму.

Поэтому этическая оценка должна отвечать как минимум на два вопроса:

  1. Для какой цели используется система?
  2. Какие цели, приоритеты и отношения уже воплощены в её конструкции?

Технологические системы и ценности

Под ценностью в данном контексте понимается свойство или состояние, которое считается желательным и заслуживающим защиты.

К ценностям, значимым при разработке ИИ, относятся:

  • безопасность;
  • точность;
  • свобода;
  • автономия личности;
  • конфиденциальность;
  • равенство;
  • справедливость;
  • доступность;
  • прозрачность;
  • достоинство;
  • эффективность;
  • общественное благо.

Ценности не всегда совместимы без ограничений.

Например:

  • повышение конфиденциальности может уменьшить доступность данных для анализа;
  • максимальная автоматизация может противоречить возможности человеческого контроля;
  • сложная высокоточная модель может быть менее объяснимой;
  • усиление защиты от мошенничества может увеличить число ошибочных отказов добросовестным пользователям;
  • персонализация может повысить удобство, но потребовать массового сбора данных.

Поэтому проектирование системы включает не только реализацию заранее заданных ценностей, но и выбор компромиссов между ними.

Такой компромисс нельзя считать исключительно техническим. Решение о том, какой риск и для кого является допустимым, требует содержательного и этического обоснования.

Где в систему входят ценностные решения

Ценностные предположения могут возникать на всех этапах жизненного цикла системы ИИ.

Выбор задачи

До построения модели необходимо определить, какую проблему предполагается решить.

Например, организация может поставить задачу:

  • прогнозировать увольнение сотрудников;
  • автоматически отбирать кандидатов;
  • оценивать вероятность невозврата кредита;
  • выявлять подозрительное поведение;
  • увеличивать время пребывания пользователя на платформе.

Выбор задачи уже определяет, какие цели считаются важными.

Постановка «увеличить вовлечённость» не тождественна постановке «показывать пользователю полезную информацию». Первая цель может поощрять эмоционально сильный и конфликтный контент, если именно он удерживает внимание.

Не всякая задача, допускающая техническое решение, должна решаться автоматизацией. До начала разработки следует проверить:

  • является ли проблема корректно сформулированной;
  • не создаёт ли автоматизация большего вреда;
  • допустимо ли вообще прогнозировать выбранное свойство;
  • существует ли менее рискованный способ решения;
  • кто получит выгоду, а кто понесёт издержки.

Выбор объекта прогнозирования

Модель не работает с человеком или социальной ситуацией во всей полноте. Она использует формализованное описание.

Например, кредитная система может учитывать:

  • доход;
  • возраст;
  • историю платежей;
  • место проживания;
  • профессию;
  • сведения о покупках.

При этом она может не учитывать временную жизненную ситуацию, состояние здоровья, ошибку в исходной базе или причины предыдущей задолженности.

Выбор признаков определяет, какая часть реальности считается существенной.

То, что не представлено в данных, становится невидимым для модели. Однако невидимость для системы не означает незначительность для человека.

Измерение и разметка

Многие свойства нельзя наблюдать непосредственно. Для них создаются измеримые заменители.

Например:

  • «успешность сотрудника» заменяется оценкой руководителя;
  • «качество образования» — результатом теста;
  • «опасность» — историей задержаний;
  • «популярность» — числом просмотров;
  • «удовлетворённость» — ответом в анкете;
  • «надёжность клиента» — историей финансовых операций.

Такую замену называют операционализацией понятия.

Проблема возникает, если измеримый показатель ошибочно отождествляется с самим понятием.

Высокая оценка руководителя может зависеть не только от качества работы, но и от личных отношений. Число задержаний может отражать интенсивность полицейского контроля, а не истинную частоту правонарушений.

Следовательно, разметка не является нейтральным описанием мира. Она может наследовать ошибки, интересы и институциональные практики тех, кто создаёт данные.

Отбор данных

Выборка определяет, какие объекты модель считает типичными.

Если некоторые группы представлены недостаточно, модель может работать для них хуже.

Причины нерепрезентативности:

  • неравный доступ к сервису;
  • исторические ограничения;
  • различия в качестве измерений;
  • добровольный отказ от предоставления данных;
  • исключение редких случаев;
  • географическая ограниченность выборки;
  • использование данных только одной организации.

Даже технически корректная модель воспроизводит структуру доступных данных. Если данные отражают систематическое неравенство, модель способна его закрепить.

Определение правильного ответа

При обучении с учителем требуется целевая переменная — значение, которое модель должна предсказывать.

Однако «правильный ответ» в социальной задаче часто не является бесспорным фактом.

Например, при автоматизации найма можно использовать:

  • решение рекрутера;
  • факт прохождения испытательного срока;
  • оценку производительности;
  • длительность работы;
  • размер полученной прибыли.

Каждый вариант задаёт разное понимание хорошего сотрудника.

Если модель обучается повторять прежние решения рекрутеров, она изучает не объективную пригодность кандидатов, а историческую практику отбора.

Функция потерь и метрика

Модель оптимизирует формально заданный критерий. Поэтому выбор метрики является способом выразить приоритеты.

В медицинской диагностике ошибки двух типов могут иметь разные последствия:

  • пропустить опасное заболевание;
  • ошибочно признать здорового человека больным.

Одинаковая общая точность не показывает, как распределяются эти ошибки.

В системе кредитования можно минимизировать финансовые потери организации, но при этом не учитывать социальную стоимость ошибочного отказа человеку.

В рекомендательной системе можно оптимизировать:

  • число кликов;
  • время просмотра;
  • покупку;
  • долгосрочную удовлетворённость;
  • разнообразие информации;
  • достоверность материалов.

Разные критерии создают разные модели поведения системы.

Функция потерь отвечает не только на вопрос «насколько модель ошибается», но и на вопрос «какие ошибки считаются наиболее дорогими».

Выбор порога решения

Многие модели выдают числовую оценку, которая затем преобразуется в действие.

Например:

  • одобрить или отклонить кредит;
  • отправить пациента на дополнительное обследование;
  • заблокировать сообщение;
  • вызвать проверку транзакции;
  • допустить кандидата к следующему этапу.

Граница между положительным и отрицательным решением задаётся порогом.

Изменение порога меняет распределение ошибок и последствий. Строгий порог может уменьшить число опасных пропусков, но увеличить количество ложных срабатываний.

Поэтому порог нельзя выбирать только по абстрактной точности. Следует учитывать:

  • тяжесть разных ошибок;
  • ресурсы для последующей проверки;
  • права затрагиваемых людей;
  • возможность обжалования;
  • распределение вреда между группами.

Архитектура и технические ограничения

Ценности могут воплощаться не только в данных и метриках, но и в архитектуре системы.

Например:

  • локальная обработка данных может лучше защищать конфиденциальность;
  • журналирование решений повышает подотчётность;
  • отказ от хранения идентификаторов уменьшает риск слежки;
  • обязательное подтверждение человеком ограничивает автономность;
  • интерфейс с объяснением решения поддерживает возможность обжалования;
  • отсутствие функции удаления данных ограничивает контроль пользователя.

Техническое устройство определяет, какие действия доступны после внедрения системы.

Интерфейс

Интерфейс может влиять на решение не меньше, чем сама модель.

Например, система выводит оператору рекомендацию. Формально последнее слово остаётся за человеком, однако:

  • рекомендация выделена крупным шрифтом;
  • альтернативные данные скрыты;
  • отклонение рекомендации требует дополнительного отчёта;
  • оператор ограничен во времени;
  • организация оценивает его по совпадению с системой.

В такой ситуации человеческий контроль может быть номинальным.

Следовательно, наличие человека в процессе ещё не гарантирует реальной автономии и ответственности.

Внедрение в организацию

Одинаковая модель может иметь разные последствия в разных институтах.

Модель оценки риска может использоваться:

  • как дополнительный источник информации;
  • как основание для проверки;
  • как почти обязательная рекомендация;
  • как автоматическое окончательное решение.

Этические свойства системы зависят не только от программного кода, но и от:

  • распределения полномочий;
  • внутренних регламентов;
  • квалификации работников;
  • системы мотивации;
  • доступного времени;
  • порядка обжалования;
  • юридической ответственности.

Поэтому ИИ следует рассматривать как часть социотехнической системы.

Социотехническая система

Социотехническая система включает не только модель и программное обеспечение, но также людей, организации, правила, инфраструктуру и общественный контекст.

В неё могут входить:

  • разработчики;
  • заказчики;
  • владельцы данных;
  • операторы;
  • руководители;
  • пользователи;
  • люди, о которых принимаются решения;
  • регулирующие органы;
  • поставщики инфраструктуры;
  • внешние аудиторы.

Ошибка абстракции возникает, когда сложная социальная проблема рассматривается только как задача оптимизации математической модели.

Например, несправедливость при найме нельзя полностью устранить изменением одного коэффициента в алгоритме. Причина может находиться в:

  • критериях вакансии;
  • способе привлечения кандидатов;
  • исторической политике организации;
  • доступности образования;
  • работе руководителей;
  • условиях труда после найма.

Модель является одним из элементов процесса, а не самостоятельным источником всех его свойств.

Прямые и косвенные участники

При анализе ценностей важно учитывать не только непосредственных пользователей.

Прямые участники взаимодействуют с системой:

  • оператор;
  • клиент;
  • сотрудник;
  • разработчик;
  • администратор.

Косвенные участники могут не пользоваться системой, но испытывать её последствия:

  • родственники пациента;
  • жители района;
  • конкуренты организации;
  • работники смежных профессий;
  • группы, отсутствующие в обучающей выборке;
  • будущие поколения.

Например, рекомендательная система взаимодействует непосредственно с пользователем, но её массовая работа может влиять на:

  • журналистику;
  • политическую дискуссию;
  • культурное разнообразие;
  • доходы авторов;
  • общественное доверие.

Этическая оценка, ограниченная интерфейсом одного пользователя, не обнаружит эти последствия.

Намеренные и ненамеренные ценности

Система может воплощать ценности независимо от того, планировали ли это разработчики.

Намеренные ценности включаются сознательно:

  • защита конфиденциальности;
  • доступность для людей с ограничениями;
  • возможность обжалования;
  • равенство качества для разных групп.

Ненамеренные ценности возникают как следствие технических или организационных решений:

  • приоритет скорости над точностью;
  • преимущество для людей с большим объёмом цифровых данных;
  • зависимость пользователя от платформы;
  • концентрация контроля у владельца инфраструктуры;
  • исключение нестандартных случаев.

Отсутствие намерения причинить вред не доказывает нейтральность системы.

Однако и наличие вредного результата не всегда означает сознательный злой умысел. Требуется исследовать механизм возникновения последствия и распределение ответственности.

Пример: автоматический отбор кандидатов

Рассмотрим систему, ранжирующую соискателей.

На первый взгляд задача выглядит технической:

  1. получить резюме;
  2. вычислить признаки;
  3. оценить вероятность успеха;
  4. выбрать кандидатов с максимальным баллом.

Однако на каждом этапе возникают ценностные решения.

Понятие успеха

Успех можно определить как:

  • найм;
  • высокую оценку руководителя;
  • длительную работу;
  • выполнение плана;
  • продвижение;
  • прибыль подразделения.

Каждый показатель отражает различное представление о хорошем сотруднике.

Исторические решения

Если модель обучается на прошлых наймах, она воспроизводит прежние предпочтения организации.

Если некоторые группы раньше нанимались реже, в данных будет меньше примеров их успешной работы. Модель может интерпретировать отсутствие данных как низкую пригодность.

Признаки

Такие признаки, как район проживания, учебное заведение или перерывы в трудовом стаже, могут косвенно отражать социальное положение, пол, состояние здоровья или семейные обстоятельства.

Удаление явно чувствительного признака не гарантирует удаления связанной с ним информации.

Организация процесса

Даже качественная модель может причинять вред, если:

  • решение невозможно оспорить;
  • кандидат не знает об автоматической оценке;
  • ошибки в данных нельзя исправить;
  • рекрутер обязан следовать рейтингу;
  • система используется вне условий, для которых обучалась.

Следовательно, этическая оценка должна охватывать всю процедуру найма.

Пример: рекомендательная система

Рекомендательная система выбирает контент, товар или услугу для пользователя.

Если оптимизируется вероятность клика, система будет находить материалы, вызывающие немедленную реакцию.

Однако кликабельность не равна:

  • полезности;
  • достоверности;
  • удовлетворённости;
  • благополучию;
  • общественной ценности.

Модель может обнаружить, что конфликтные, пугающие или возмущающие материалы удерживают внимание лучше нейтральных.

Если единственным критерием остаётся вовлечённость, такая зависимость становится экономически выгодной.

Поэтому выбор метрики способен влиять на информационную среду, даже если разработчики не задавали цель распространять конфликтный контент.

Более ответственная система может учитывать:

  • долгосрочную оценку пользователя;
  • разнообразие рекомендаций;
  • достоверность источников;
  • повторяемость контента;
  • признаки навязчивого потребления;
  • возможность отключить персонализацию;
  • контроль пользователя над рекомендациями.

Пример: автоматизированное кредитование

Кредитная модель оценивает вероятность невозврата средств.

С точки зрения организации желательно уменьшить финансовый риск. Однако решение влияет также на возможности человека:

  • приобрести жильё;
  • начать бизнес;
  • получить образование;
  • пережить временный кризис.

Система может считаться точной в среднем, но систематически ошибаться для группы, плохо представленной в данных.

Дополнительные вопросы:

  • имеет ли человек доступ к использованным данным;
  • может ли исправить ошибку;
  • получает ли объяснение отказа;
  • существует ли пересмотр человеком;
  • применима ли модель к новому региону;
  • не превращается ли историческое неравенство в постоянный критерий.

Финансовая эффективность является важной ценностью, но не исчерпывает этическую оценку системы.

Достоинство личности

Принцип человеческого достоинства требует рассматривать человека как самостоятельного субъекта, а не только как объект прогнозирования и оптимизации.

Нарушение достоинства может возникать, если система:

  • сводит человека к набору статистических характеристик;
  • принимает необратимые решения без его участия;
  • не допускает объяснения индивидуальной ситуации;
  • обращается с человеком только как с источником данных;
  • использует его уязвимость для манипуляции;
  • лишает возможности оспорить ошибочное решение.

Уважение достоинства не означает отказ от любой классификации. Оно требует ограничивать классификацию задачей, проверять её необходимость и сохранять пространство для человеческого решения.

Автономия личности

Автономия означает способность человека самостоятельно формировать цели и принимать решения.

ИИ может поддерживать автономию:

  • предоставлять информацию;
  • объяснять варианты;
  • снижать барьеры доступа;
  • помогать людям с ограниченными возможностями;
  • выполнять рутинные операции.

Но он может и ослаблять её:

  • скрытно направлять выбор;
  • использовать поведенческие уязвимости;
  • создавать зависимость;
  • подменять решение рекомендацией;
  • собирать данные без осознанного согласия;
  • делать отказ от системы практически невозможным.

Формальная кнопка согласия недостаточна, если пользователь не понимает последствий или не имеет реальной альтернативы.

Справедливость

Справедливость в ИИ не сводится к одной математической метрике.

Необходимо рассматривать:

  • распределение ошибок;
  • доступ к преимуществам системы;
  • распределение рисков;
  • качество данных для разных групп;
  • исторический контекст;
  • возможность участия;
  • доступность обжалования;
  • влияние на существующее неравенство.

Разные определения статистической справедливости могут быть несовместимы. Поэтому выбор метрики требует ответа на содержательный вопрос: какое равенство необходимо в данной ситуации и почему.

Математическое равенство показателей не гарантирует справедливости всей процедуры.

Общее благо

Система может приносить выгоду отдельному пользователю или организации, но создавать отрицательные последствия для общества.

Примеры:

  • персонализация удобна, но способствует замыканию информационных групп;
  • автоматизация снижает расходы, но переносит риски на работников;
  • массовый сбор данных повышает точность, но создаёт инфраструктуру наблюдения;
  • генерация контента удешевляет производство, но усложняет проверку происхождения информации.

Оценка общего блага требует учитывать совокупный и долгосрочный эффект, а не только непосредственную полезность продукта.

Подотчётность

Подотчётность означает возможность определить, кто отвечает за решение системы, обязан его обосновать, проверить и при необходимости исправить последствия.

Подотчётность требует ответов на вопросы:

  • кто поставил задачу;
  • кто выбрал данные;
  • кто обучил модель;
  • кто утвердил метрику;
  • кто разрешил внедрение;
  • кто контролирует работу;
  • кто рассматривает жалобы;
  • кто компенсирует причинённый ущерб.

Фраза «так решил алгоритм» не является приемлемым объяснением. Алгоритм не возникает самостоятельно и не освобождает участников от ответственности.

Распределение работы между множеством организаций может создавать проблему многих рук: каждый участник отвечает лишь за небольшую часть и считает, что итоговое решение находится вне его контроля.

Для предотвращения этого необходимо заранее закреплять полномочия и ответственность.

Прозрачность

Прозрачность может означать разные вещи:

  • уведомление об использовании ИИ;
  • описание цели системы;
  • раскрытие источников данных;
  • публикацию показателей качества;
  • объяснение конкретного решения;
  • документацию ограничений;
  • доступ независимых аудиторов;
  • журналирование действий.

Полная публикация программного кода не всегда обеспечивает полезную прозрачность. Большой код или набор параметров может быть непонятен пользователю.

Информация должна соответствовать роли получателя:

  • пользователю нужно знать последствия и способы обжалования;
  • оператору — ограничения и правила применения;
  • аудитору — данные, метрики и журналы;
  • руководителю — риски и распределение ответственности;
  • разработчику — технические причины ошибок.

Прозрачность является средством подотчётности, а не самостоятельной конечной целью.

Объяснимость

Объяснение должно помогать человеку понять существенные причины решения.

Полезное объяснение отвечает на вопросы:

  • какие сведения повлияли на результат;
  • какие данные использовались;
  • можно ли исправить ошибку;
  • какие изменения могли бы привести к другому решению;
  • насколько уверена модель;
  • каковы ограничения оценки.

Технически точное описание внутреннего устройства не обязательно является понятным или практически полезным.

Объяснение также не оправдывает несправедливую систему. Процедура может быть полностью объяснимой, но использовать недопустимую цель.

Оспоримость решения

Оспоримость означает реальную возможность поставить решение под сомнение и добиться его пересмотра.

Для этого необходимо:

  • уведомить человека о принятом решении;
  • предоставить содержательное основание;
  • обеспечить доступ к использованным данным;
  • позволить исправить ошибки;
  • направить обращение компетентному человеку;
  • установить срок рассмотрения;
  • предусмотреть изменение или отмену решения.

Если объяснение существует, но изменить результат невозможно, система остаётся неподотчётной.

Особенно важна оспоримость в задачах, связанных с трудом, образованием, медициной, кредитованием, страхованием и государственными услугами.

Человеческий контроль

Человеческий контроль не должен быть ритуальным.

Для содержательного контроля оператору необходимы:

  • полномочие отклонить рекомендацию;
  • достаточная информация;
  • время на анализ;
  • профессиональная компетентность;
  • отсутствие наказания за обоснованное несогласие;
  • доступ к альтернативным данным;
  • понимание ограничений модели.

Человек, который только подтверждает автоматический ответ, не осуществляет полноценного контроля.

В некоторых задачах чрезмерная зависимость от рекомендаций приводит к автоматизационному смещению: человек доверяет системе даже при наличии признаков ошибки.

Ценностно-ориентированное проектирование

Ценностно-ориентированное проектирование — подход, при котором человеческие ценности учитываются систематически на протяжении разработки технологии.

Подход включает три взаимосвязанных вида исследования.

Концептуальное исследование

Определяются:

  • заинтересованные стороны;
  • затрагиваемые ценности;
  • возможные конфликты;
  • обязанности участников;
  • прямые и косвенные последствия.

Например, при создании образовательной системы участниками являются не только ученики и преподаватели, но также родители, администрация, будущие работодатели и группы, чьи данные отсутствуют.

Эмпирическое исследование

Изучаются реальные потребности и практики людей:

  • интервью;
  • наблюдение;
  • опросы;
  • анализ жалоб;
  • совместное проектирование;
  • пилотное внедрение.

Разработчики не должны предполагать, что заранее полностью понимают интересы пользователей.

Техническое исследование

Ценности переводятся в свойства системы:

  • ограничение сбора данных;
  • контроль доступа;
  • журналирование;
  • настройка порогов;
  • проверка качества по группам;
  • интерфейс обжалования;
  • локальная обработка;
  • возможность отключения функции.

При этом ценность редко сводится к одной технической характеристике. Например, конфиденциальность зависит и от архитектуры, и от организационных правил.

Оценка воздействия

До внедрения системы полезно проводить оценку её предполагаемого воздействия.

Она включает:

  1. описание задачи и назначения;
  2. определение заинтересованных сторон;
  3. анализ источников данных;
  4. выявление возможного вреда;
  5. оценку тяжести и вероятности последствий;
  6. анализ распределения вреда между группами;
  7. описание мер снижения риска;
  8. определение ответственных лиц;
  9. разработку порядка контроля и обжалования;
  10. решение о допустимости внедрения.

Оценка не должна быть одноразовым документом. После изменения данных, модели или условий применения её необходимо пересматривать.

Аудит

Аудит системы ИИ может включать:

  • проверку документации;
  • анализ происхождения данных;
  • воспроизведение метрик;
  • тестирование устойчивости;
  • оценку качества по подгруппам;
  • проверку защиты данных;
  • анализ интерфейса;
  • исследование организационных процедур;
  • проверку журналов решений;
  • интервью с затрагиваемыми людьми.

Технический аудит модели недостаточен, если он не рассматривает реальное применение.

Высокая точность в лабораторном тесте не доказывает приемлемость системы в социальной среде.

Наблюдение после внедрения

Последствия технологии нельзя полностью предсказать заранее.

После внедрения необходимо отслеживать:

  • изменение распределения данных;
  • новые типы ошибок;
  • жалобы пользователей;
  • различия качества между группами;
  • непредусмотренные способы использования;
  • зависимость операторов от рекомендаций;
  • попытки обхода системы;
  • долгосрочные социальные эффекты.

Должна существовать возможность:

  • временно приостановить работу;
  • изменить пороги;
  • откатить версию;
  • удалить ошибочные данные;
  • ограничить область применения;
  • полностью отказаться от системы.

Возможность остановки является частью ответственного проектирования.

Распределение ответственности по жизненному циклу

Ответственность не должна сосредоточиваться только на конечном пользователе.

Исследователи

Исследователь отвечает за:

  • обоснование задачи;
  • описание ограничений;
  • честное представление результатов;
  • анализ возможного неправильного применения;
  • воспроизводимость;
  • отказ от скрытия неблагоприятных выводов.

Разработчики

Разработчик отвечает за:

  • качество реализации;
  • безопасность;
  • тестирование;
  • документирование;
  • обработку ошибок;
  • соответствие технических решений заявленным требованиям.

Заказчики и руководители

Они определяют:

  • бизнес-цель;
  • ресурсы;
  • критерии успеха;
  • допустимый риск;
  • порядок внедрения;
  • систему контроля.

Нельзя перекладывать на инженеров ответственность за цели, поставленные руководством.

Владельцы данных

Они отвечают за:

  • законность и обоснованность сбора;
  • качество;
  • происхождение;
  • актуальность;
  • ограничения использования;
  • защиту данных.

Операторы

Оператор отвечает за применение системы в пределах компетенции, но только если обладает необходимыми полномочиями, знаниями и временем.

Организация

Организация несёт ответственность за весь процесс, даже если отдельные компоненты были приобретены у внешнего поставщика.

Передача модели подрядчику не устраняет обязанность проверять её пригодность и последствия.

Ограничения принципа ненейтральности

Тезис об этической ненейтральности не следует превращать в технологический детерминизм.

Из него не следует, что:

  • конструкция полностью определяет поведение пользователей;
  • все последствия можно предсказать;
  • технология имеет собственное нравственное намерение;
  • разработчик единолично контролирует общественный эффект;
  • любая техническая характеристика является моральным утверждением;
  • существует единственный правильный набор ценностей.

Люди могут использовать систему непредусмотренным способом. Организационный контекст способен изменить её значение. Разные сообщества могут по-разному оценивать один и тот же компромисс.

Более точная позиция состоит в следующем:

  • технология не определяет социальный результат полностью;
  • но она формирует пространство доступных действий;
  • облегчает одни практики;
  • затрудняет другие;
  • распределяет возможности и риски;
  • поэтому требует этической оценки.

Различие между ошибкой и несправедливостью

Не всякая техническая ошибка является этической проблемой одинаковой тяжести.

Если система случайно ошиблась при рекомендации фильма, последствия обычно ограничены.

Если аналогичная ошибка приводит к отказу в лечении или лишению дохода, её значение существенно выше.

Этическая оценка зависит от:

  • тяжести последствий;
  • обратимости;
  • масштаба;
  • уязвимости затронутых людей;
  • возможности исправления;
  • добровольности участия;
  • доступности альтернативы.

Также несправедливость может существовать без технической ошибки. Модель способна точно выполнять функцию, которая сама по себе является недопустимой.

Различие между качеством модели и качеством системы

Качество модели оценивается метриками на данных.

Качество системы включает также:

  • обоснованность задачи;
  • качество процедуры;
  • безопасность;
  • понятность;
  • доступность;
  • оспоримость;
  • влияние на людей;
  • распределение ответственности.

Хорошая модель может быть частью плохой системы.

И наоборот, система с ограниченной точностью может быть приемлемой, если она используется как вспомогательный инструмент, ошибки легко обнаруживаются, а окончательное решение принимает компетентный человек.

Практический протокол

Перед разработкой или внедрением системы ИИ полезно последовательно ответить на следующие вопросы.

  1. Какую проблему решает система?
  2. Почему для неё требуется ИИ?
  3. Кто определил цель?
  4. Кто получает выгоду?
  5. Кто несёт риск?
  6. Какие группы могут быть исключены?
  7. Как получены данные?
  8. Что считается правильным ответом?
  9. Какие предположения заложены в разметку?
  10. Какие ошибки наиболее опасны?
  11. Почему выбрана именно эта метрика?
  12. Как распределяется качество между группами?
  13. Может ли человек отказаться от использования системы?
  14. Уведомляется ли он об автоматическом решении?
  15. Может ли получить объяснение?
  16. Может ли исправить данные?
  17. Кто пересматривает спорное решение?
  18. Кто несёт ответственность за ущерб?
  19. Как система будет контролироваться после внедрения?
  20. При каких условиях её работа должна быть остановлена?

Если на эти вопросы нет ясных ответов, техническая готовность модели ещё не означает готовность системы к применению.

Философская интерпретация

Система ИИ не воспринимает мир непосредственно. Она работает с формализованным представлением, созданным людьми.

В этом представлении уже определено:

  • что считать объектом;
  • какие различия замечать;
  • какие свойства измерять;
  • какие категории считать допустимыми;
  • какой результат признавать успешным.

Следовательно, модель не только обнаруживает закономерности. Она действует внутри заранее построенного языка описания.

Этот язык может быть полезным, но никогда не исчерпывает человека и социальную реальность.

Этическая ненейтральность означает необходимость критически исследовать не только ответы модели, но и систему понятий, через которую она видит мир.

Вопрос состоит не только в том, правильно ли алгоритм вычисляет результат, но и в том, правильно ли поставлена сама задача.

Заключение

Система искусственного интеллекта не является полностью нейтральным инструментом.

Ценностные решения входят в неё через:

  • постановку задачи;
  • выбор данных;
  • разметку;
  • признаки;
  • метрики;
  • пороги;
  • архитектуру;
  • интерфейс;
  • организационные регламенты;
  • способы внедрения.

Это не означает, что машина является самостоятельным моральным субъектом. Ответственность остаётся у людей и организаций, которые формулируют цели, создают систему, финансируют её, внедряют и применяют.

Ответственное проектирование требует учитывать человеческое достоинство, автономию, справедливость, прозрачность, оспоримость и общее благо на протяжении всего жизненного цикла системы.

Поэтому этика ИИ не может быть внешним дополнением, применяемым после завершения разработки. Она является частью постановки задачи и инженерного проектирования.

См. также

Литература

  • Winner L. Do Artifacts Have Politics? // Daedalus. — 1980. — Т. 109. — № 1. — С. 121—136.
  • Nissenbaum H. How Computer Systems Embody Values // Computer. — 2001. — Т. 34. — № 3.
  • Friedman B., Hendry D. G. Value Sensitive Design: Shaping Technology with Moral Imagination. — MIT Press, 2019. — ISBN 978-0-262-03953-6
  • Mittelstadt B. D., Allo P., Taddeo M., Wachter S., Floridi L. The Ethics of Algorithms: Mapping the Debate // Big Data & Society. — 2016. — Т. 3. — № 2.
  • Selbst A. D., Boyd D., Friedler S. A., Venkatasubramanian S., Vertesi J. Fairness and Abstraction in Sociotechnical Systems // Proceedings of the Conference on Fairness, Accountability, and Transparency. — 2019. — С. 59—68.
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%AD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BD%D0%B5%D0%BD%D0%B5%D0%B9%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82%D0%B0»
Личные инструменты