Алгоритм не виноват? Как ИИ ошибается в найме и кредитах

Компании всё чаще доверяют решения о найме, кредитах и оценке рисков алгоритмам. Но всё больше исследований показывают: автоматические системы воспроизводят несправедливость, а не устраняют её. Разбираемся, как это происходит и что можно с этим сделать.

Как алгоритмы воспроизводят предвзятость

Один из самых известных примеров — экспериментальный инструмент Amazon для отбора резюме. Систему обучили на десяти годах резюме, которые в основном подавали мужчины. В итоге алгоритм научился понижать оценки резюме, где встречалось слово «women’s», например «капитан женского шахматного клуба», и отдавал предпочтение выпускникам двух женских колледжей. Компания расформировала команду и заявила, что инструмент никогда не использовался рекрутёрами для оценки кандидатов.

Другой случай — система оценки риска рецидивизма COMPAS, которую используют суды в некоторых штатах США. В 2016 году анализ ProPublica по записям более 10 тысяч обвиняемых показал: темнокожие обвиняемые, которые не совершали повторных правонарушений, почти вдвое чаще получали завышенную оценку риска, чем белые (45% против 23%). При этом производитель утверждал, что точность оценок одинакова для обеих групп. Оба утверждения могут быть верны одновременно — и выбор между определениями справедливости становится не техническим, а моральным решением.

Почему это сложно исправить

Предвзятость может проникать через дизайн, обучающие данные или способ использования системы. При этом современные модели машинного обучения устроены так, что их решения всё труднее объяснить: алгоритмы перешли от заданных программистом правил к системам, которые сами формируют правила на больших массивах данных. Прозрачность и объяснимость сами по себе тоже не гарантируют справедливости — внешне корректный алгоритм может оставаться несправедливым по своим последствиям.

Эксперты по управлению ИИ советуют организациям не сводить этику к юридическим и репутационным рискам, а выстраивать процессы: продумывать сценарии и последствия до внедрения, проверять результаты на выборках, а не ждать жалоб, вести защищённые журналы решений и назначать конкретного ответственного человека, который может отменить решение алгоритма. Подробнее о подходах к справедливости алгоритмов можно прочитать на сайте Diginomica.

Что это значит для вас

Если вам отказали в работе или кредите, и вы знаете, что решение принимала автоматическая система, стоит помнить: у вас есть право поинтересоваться, как принималось решение. Компании всё чаще обязаны сообщать, что использовали ИИ, и давать возможность оспорить результат. Полезно сохранять переписку и запрашивать объяснения — это помогает и вам, и рынку становиться прозрачнее.

Технологии меняют правила игры быстрее, чем успевают появиться понятные всем нормы. Разбираться в этих изменениях — значит сохранять контроль над собственными решениями.

Хотите глубже понять, как алгоритмы влияют на повседневную жизнь и какие права у вас есть, — узнайте больше на нашем сайте.

📌 Чтобы не пропустить новые публикации, подписывайтесь там, где вам удобнее: Дзен или MAX.

💛 Если статья оказалась полезной, поддержите автора донатом.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.