Смещение, справедливость и приватность в ИИ

Где мы на карте

Урок 67 из 72. Блок «ИИ и выпуск проекта» (63–72). Помощник сохраняет прежние правила напоминания и локальную базу; новая функция только предлагает категорию задачи и допускает отказ.

Ситуация и вопрос

В обучающих строках есть казахские и английские слова, но не все темы и языки. Если ошибочно объявить модель одинаково хорошей для каждого ученика, часть людей получит худшие советы.

Новые слова без пропусков

Смещение — систематическое отличие данных или результата от нужной группы и задачи. Справедливость требует проверять последствия для разных групп, а не только общий процент. Приватность ограничивает использование личных данных; наша игрушка использует вымышленные строки. Срез качества — отдельная оценка на выбранной группе. При маленьком срезе результат особенно нестабилен.

Опорный сигнал

Прочитайте три клетки схемы слева направо, затем закройте третью. Назовите вход и действие в каждой клетке; предскажите, чем закончится путь и какой наблюдаемый факт подтвердит ответ. Сравните рисунок с файлом проекта или контрольным примером. Если число на схеме не получается из данных, исправьте схему, а не данные под красивую картинку.

Разбираем шаг за шагом

Разделите четыре тестовые строки по языку: две казахские, две английские. Посчитайте ошибки отдельно, но прямо укажите размер каждой группы 2. Затем придумайте пример на языке, которого нет в обучении: ожидайте review при незнакомых словах. Добавление реальных ученических сообщений не решает проблему автоматически и создаёт новый риск приватности. Лучше собрать разрешённые вымышленные варианты и проверить их отдельно.

Предскажите и проверьте

Запишите ожидаемый вывод до запуска кода. Выполните его в указанной папке step-06 или step-07, сравните результат символ за символом и объясните каждую строку. Затем измените один безопасный вымышленный вход и повторите цикл «предсказать — запустить — изменить — объяснить — проверить». Наблюдение на маленьком наборе не превращайте в обещание для реальных людей.

from classifier import read_examples, train, suggest
rows = read_examples("labelled_tasks.csv")
model = train(rows)
print([suggest(r["title"], model) for r in rows if r["split"] == "test"])

Ожидаемый вывод

['reading', 'reading', 'math', 'math']

Поймайте ошибку

Равенство 2/2 и 2/2 в крошечной проверке не доказывает равной надёжности. Язык нельзя угадывать по имени ученика. Нельзя публиковать реальные переписки ради улучшения модели.

Изменение проекта

В проекте 2.1 сохраняются база, отчёт, напоминания и резервирование. Файл labelled_tasks.csv содержит только вымышленные примеры. classifier.py выдаёт совет math, reading или review, но не записывает решение в базу. Каждый вывод модели сравнивается с отложенными примерами и пересматривается человеком.

Задание и доказательство

Сделайте два среза и напишите их знаменатели. Составьте безопасный план нового набора примеров без личных данных. Укажите, кто должен согласовать спорную метку.

Перенос в новую ситуацию

Автоматический перевод хорошо проверен на одном диалекте. Что нужно измерить до использования для всех родителей школы?

Возврат через 1, 7 и 30 дней

Через 1 день нарисуйте схему по памяти и найдите в ней одну границу применения. Через 7 дней объясните её товарищу, не читая урок, и решите 7 из 10 вопросов блока; ошибочные ответы разберите на конкретных входах. Через 30 дней откройте свежую копию проекта, воспроизведите проверку и перенесите принцип в новый пример. Сохраните свой протокол с входом, ожидаемым и фактическим результатом.

Первоисточник для проверки

Официальный документ

Следующий урок

Как языковая модель продолжает текст