WEBVTT 00:00:00.140 --> 00:00:03.620 Представьте, что вы внедрили чат-бота для помощи сотрудникам в повседневных задачах, 00:00:03.720 --> 00:00:07.380 а он через несколько минут начинает предлагать предвзятые, вводящие в заблуждение или просто 00:00:07.380 --> 00:00:10.780 бесполезные для клиентов действия. Это не паранойя из научной фантастики, это то, 00:00:10.920 --> 00:00:14.200 что происходит при отсутствии принципов ответственного использования и ответственный 00:00:14.200 --> 00:00:18.660 и фокусируется на справедливости, прозрачности, конфиденциальности и подотчетности. Это своего 00:00:18.660 --> 00:00:22.480 рода ремни безопасности для ваших цифровых помощников. Риски снижаются, если вы действительно 00:00:22.480 --> 00:00:26.260 начинаете применять это на практике. И каковы последствия? Нарушение комплайенса, 00:00:26.260 --> 00:00:30.560 недоверие клиентов и паника руководства. В этой сессии я продемонстрирую ошибки инъекций 00:00:30.560 --> 00:00:34.560 промптов и покажу меры управления, которые можно применить в рабочих процессах Power Platform и 00:00:34.560 --> 00:00:39.380 Microsoft 365, потому что опасность уже близко. Все начинается в тот момент, когда и помощник 00:00:39.380 --> 00:00:43.740 выходит за рамки сценария. Когда и отклоняется от сценария, представьте, вы запустили планировщик 00:00:43.740 --> 00:00:48.300 для упорядочивания своего календаря. Он должен переносить время встреч, помечать важные заметки и 00:00:48.300 --> 00:00:53.000 поддерживать порядок. Вместо этого он начинает играть в любимчиков, решая, кто из коллег важнее и тихо 00:00:53.000 --> 00:00:57.420 вычеркивает остальных из приглашений. Или, что еще хуже, он взрывает критически важное сообщение 00:00:57.420 --> 00:01:01.720 от вашего руководителя среди цифрового мусора. Вы просили надежные часы, а получили странного 00:01:01.720 --> 00:01:06.280 члена экипажа, который выдумывает правила, никем не утвержденные. Представьте этого помощника, 00:01:06.420 --> 00:01:11.720 как судно в море. Корабль может сверкать, двигатель мощно гудеть, но без навигационной системы он 00:01:11.720 --> 00:01:18.120 будет слепо дрейфовать в тумане. И без ограничителей, это именно движение без цели, тяга без компаса. 00:01:18.120 --> 00:01:23.320 И хотя обычные ошибки неприятны, настоящая опасность возникает, когда кто-то другой берется за 00:01:23.320 --> 00:01:27.980 штурвал. Здесь-то и вступает в дело инъекция промпта. Это капитан-самозванец, пробравшийся на борт 00:01:27.980 --> 00:01:32.220 и отдавший команду, которая звучит официально, но полностью меняет курс корабля. Одна небольшая 00:01:32.220 --> 00:01:35.540 фраза, замаскированная под запрос, может заставить вашего вежливого планировщика разгласить 00:01:35.540 --> 00:01:39.740 информацию, распространять предвзятость или повторять чушь. Это не научная фантастика, это реальный риск 00:01:39.740 --> 00:01:43.920 состязательного ввода данных, которые эксперты называют инъекцией промпта. Злоумышленники используют 00:01:43.920 --> 00:01:47.820 тщательно составленный текст, чтобы обойти правила безопасности, и система подчиняется, 00:01:47.980 --> 00:01:51.580 так как не может отличить диверсанта от доверенного пассажира. Вот почему это происходит. 00:01:51.780 --> 00:01:55.120 Большинство базовых моделей воспринимают любую правильно сформулированную инструкцию как 00:01:55.120 --> 00:01:59.220 допустимую. Они не распознают мотивы или намерения без дополнительных уровней безопасности. 00:01:59.380 --> 00:02:03.580 Если организация не добавит ограничители, фильтры безопасности и проверки с участием человека, 00:02:03.740 --> 00:02:07.720 и будет выполнять команды с усердием машины, созданной для подчинения. Попросите его кратко 00:02:07.720 --> 00:02:11.580 изложить итоги встречи, и если в этот запрос встроена просьба распечатать файл с личной повесткой, 00:02:11.580 --> 00:02:15.880 он отнесется к обоим заданиям одинаково. Он не взвешивает этические нормы. Он не подозревает 00:02:15.880 --> 00:02:19.540 обмана. Здесь хорошо подходит метафора с таможней. Это как проскользнуть через контрольно-пропускной 00:02:19.540 --> 00:02:22.660 пункт с поддельными документами, на которых стоит отметка авторизованно. Защитные механизмы 00:02:22.660 --> 00:02:26.500 существуют, но их не всегда достаточно. Искусно составленный текст может заставить правила 00:02:26.500 --> 00:02:30.860 отступить. А поскольку ответы недетерминированы и никогда не повторяются, опасность возрастает. 00:02:31.060 --> 00:02:34.060 Злоумышленник может продолжать зондирование, пока модель не выдаст нужный результат, 00:02:34.260 --> 00:02:38.100 словно бросая кости, пока не выпадет озорной вариант. Так помощник, созданный для службы, 00:02:38.100 --> 00:02:42.220 в мгновение око превращается в шута. Минуту назад он подбирал время для встреч в календаре, 00:02:42.300 --> 00:02:46.100 а в следующую выдумывает критерии приема на работу или раскрывает конфиденциальные имена в 00:02:46.100 --> 00:02:50.340 неподобающем контексте. Управление здесь критически важно, поскольку переход от пользы к ХАСу 00:02:50.340 --> 00:02:54.920 происходит непостепенно. Он происходит мгновенно. Ущерб не ограничивается одним почтовым ящиком. 00:02:55.100 --> 00:02:58.720 Ошибочные ответы распространяются по рабочим процессам быстрее, чем любая человеческая ошибка. 00:02:58.900 --> 00:03:03.220 Неверное предложение превращается в цепную реакцию. Плохие советы влияют на принятие решений. 00:03:03.220 --> 00:03:07.480 Неверная маркировка распространяет дезинформацию, усиленную машинной скоростью. Без надзора один 00:03:07.480 --> 00:03:11.080 провокационный запрос может разжечь настоящий пожар. Смягчение последствий возможно, 00:03:11.320 --> 00:03:15.480 и оно не опирается на пустые надежды. Провайдеры и компании уже используют эшелонированную 00:03:15.480 --> 00:03:19.940 защиту, автоматические фильтры, правила обучения с подкреплением и проверку людьми того, 00:03:20.140 --> 00:03:25.060 что просочилось. Телес, например, рекомендует тестировать новых помощников в огороженных садах, 00:03:25.260 --> 00:03:29.520 изолированных проверяемых средах, которые сдерживают масштаб проблемы, прежде чем допустить 00:03:29.520 --> 00:03:33.400 и к реальным данным или пользователям. Добавьте к этому постоянный редтиминг, 00:03:33.640 --> 00:03:37.560 где люди непрерывно ищут уязвимости в системе, и вы создадите буфер безопасности. 00:03:37.820 --> 00:03:41.560 Автоматические средства берут на себя основную нагрузку, но участие человека гарантирует, 00:03:41.700 --> 00:03:44.640 что модель остается в рамках нормы, когда простые правила не срабатывают. 00:03:44.780 --> 00:03:49.900 Схема такова – наблюдать, тестировать, проверять, сдерживать. Если оставить штурвал без присмотра, 00:03:50.040 --> 00:03:53.420 и не поплывет туда, куда его направит провокация. Если обеспечить надзор, 00:03:53.420 --> 00:03:57.320 вы сузите окно возможностей для катастрофы. Метафора с кораблем отлично это передает. 00:03:57.320 --> 00:04:01.960 Управление возможно, но только когда кто-то сверяется с компасом. И это подводит нас к следующей 00:04:01.960 --> 00:04:05.720 задаче. Даже если вы отгородились от злоумышленников и держите фильтры включенными, 00:04:05.900 --> 00:04:11.180 вас ждет другое осложнение. Непредсказуемость, заложенная в сами системы. И не из-за саботажа, 00:04:11.400 --> 00:04:17.060 а из-за того, как именно эти модели генерируют ответы. Детерминизм против непредсказуемости, 00:04:17.320 --> 00:04:21.440 скрытый переключатель. Представьте, вы вводите 2 плюс 2 в калькулятор, 00:04:21.440 --> 00:04:26.740 и вместо ожидаемой 4 он с ухмылкой выдает 42. Странно, правда? Мы в недоумении, 00:04:26.740 --> 00:04:30.620 потому что калькуляторы построены на незаблемом детерминизме. Введите один и тот же запрос 00:04:30.620 --> 00:04:34.400 тысячу раз, и каждый раз вы будете получать один и тот же результат. В этой предсказуемости и 00:04:34.400 --> 00:04:38.380 заключается весь смысл. А теперь сравните это с новым классом и инструментом. Они не всегда 00:04:38.380 --> 00:04:42.740 приходят к одному и тому же результату. Их ответы варьируются. Иногда эти вариации кажутся умными 00:04:42.740 --> 00:04:46.560 или проницательными, а иногда скатываются в бессмыслицу. Это и есть тот скрытый переключатель. 00:04:47.020 --> 00:04:50.460 Детерминированное поведение против недетерминированного. В детерминированных системах, 00:04:50.460 --> 00:04:55.320 например, в электронных таблицах или формулах, результат не изменен. Введите 7 в понедельник или 00:04:55.320 --> 00:04:59.640 субботу, машина выдаст один и тот же вердикт. Никаких перепадов настроения или творческих 00:04:59.640 --> 00:05:03.280 порывов. Это механическая верность. Раз за разом проигрывается один и тот же сценарий. 00:05:03.740 --> 00:05:07.980 Недетерминированные модели существуют иначе. Вы даете им запрос, и вместо следования по 00:05:07.980 --> 00:05:13.080 фиксированному пути они выбирают из множества вариантов. Этот выбор плюс стахастические процессы, 00:05:13.280 --> 00:05:17.060 обновление моделей и даже дрейфь данных приводят к вариативности результатов. 00:05:17.060 --> 00:05:22.840 Это как подготовить сцену для импровизации. Вы задаете сцену, но исполнитель придумывает шутку на ходу. 00:05:22.840 --> 00:05:28.360 Иногда это работает прекрасно, а иногда сбивается на бессвязность. Классическая автоматизация и 00:05:28.360 --> 00:05:32.920 рабочие процессы на основе правил, как в Power Platform, ближе к детерминированной стороне. 00:05:33.080 --> 00:05:37.340 Вы задаете условия, и при срабатывании триггера правило выполняется с машинной точностью. 00:05:37.520 --> 00:05:40.900 Именно эта предсказуемость обеспечивает стабильность соблюдения норм, потоков данных и 00:05:40.900 --> 00:05:44.540 аудиторских проверок. Вы знаете, что произойдет, потому что шаги четко определены. 00:05:44.780 --> 00:05:49.000 Генеративные копайлоты, напротив, превращают любой ввод в пространство для интерпретации. 00:05:49.000 --> 00:05:53.060 Они будут суммировать, комбинировать и перефразировать текст почти по-человечески. 00:05:53.220 --> 00:05:57.980 В этой гибкости их прелесть, но в ней же и риск, так как она допускает непредсказуемость там, 00:05:58.180 --> 00:06:02.900 где нужна последовательность. Представьте труппу импровизаторов на сцене. Вы даете им тему 00:06:02.900 --> 00:06:08.160 «одобрение бюджета». Один актер шутит об экономии, другой уходит в побочную линию о банкетах, 00:06:08.420 --> 00:06:13.440 и внезапно представление мало напоминает ваш запрос. Это недетерминированная модель в процессе работы. 00:06:13.440 --> 00:06:18.520 Такие отклонения – не признак плохого проектирования. Они встроены в саму суть работы больших 00:06:18.520 --> 00:06:23.700 языковых моделей, исследующих множество путей, а не один. Подвох очевиден. Творчество не всегда 00:06:23.700 --> 00:06:28.040 означает точность, а в бизнес-процессах точность – зачастую единственная важная валюта. 00:06:28.140 --> 00:06:32.820 Теперь примените это к финансам. Допустим, ваш инструмент проверки кредитоспособности на базе 00:06:32.820 --> 00:06:37.640 и одобряет заявку. Вводите ту же информацию на следующий день, и теперь заявка отклонена. 00:06:37.860 --> 00:06:41.920 Заявитель в недоумении. Регулятор видит несоответствие, которое подозрительно напоминает 00:06:41.920 --> 00:06:45.920 дискриминацию. Происходит дрейф. Результаты меняются без явной причины, потому что 00:06:45.920 --> 00:06:50.100 недетерминированные системы могут варьироваться со временем. В отличие от человека, вы не можете 00:06:50.100 --> 00:06:54.420 просто попросить модель объяснить, что изменилось. И именно здесь доверие рушится быстрее всего, 00:06:54.660 --> 00:06:59.280 когда логика скрыта за непрозрачным ответом. В промышленной эксплуатации дрейф усиливается быстро. 00:06:59.500 --> 00:07:03.220 Рабочий процесс, призванный снизить предвзятость в одном месяце, может в следующем 00:07:03.220 --> 00:07:07.120 двинуться в обратную сторону. Отклонения, которые кажутся незначительными по отдельности, 00:07:07.120 --> 00:07:11.440 при масштабировании на сотни случаев превращаются в нарушения. Регуляторы, в отличие от 00:07:11.440 --> 00:07:15.580 довольных зрителей на шоу импровизаций, требуют стабильности, аудируемости и четких 00:07:15.580 --> 00:07:19.280 объяснений. Они не считают недетерминированность частью привлекательности системы. 00:07:19.380 --> 00:07:23.500 Вот почему так важны защитные механизмы. Регуляторы и стандарты требуют возможности аудита, 00:07:23.680 --> 00:07:27.220 документирования моделей и мониторинга. Поэтому внедряйте системы логирования и 00:07:27.220 --> 00:07:31.280 объяснимости в процесс развертывания. Без них даже небольшие отклонения становятся рисками. 00:07:31.580 --> 00:07:35.080 Штрафы накапливаются, репутация страдает, а доверие клиентов исчезает. 00:07:35.160 --> 00:07:38.760 Управление – это человеческий арбитр в этой непредсказуемой пьесе. Представьте 00:07:38.760 --> 00:07:42.580 снова тех импровизаторов, которые мечутся во все стороны. Если никто не установит границы, 00:07:42.720 --> 00:07:46.660 представление рухнет под тяжестью собственного хаоса. Однако арбитр удерживает их в рамках. 00:07:46.980 --> 00:07:51.680 Придерживайтесь этой темы, следуйте этой линии. В сфере и управление работает точно так же. 00:07:51.860 --> 00:07:56.840 Оно не подавляет инновации, а превращает случайность в результат, который не нарушает сценарий. 00:07:57.400 --> 00:08:01.780 Недетерминированность сохраняется, но она действует в заданных рамках. В этом и заключается баланс. 00:08:01.920 --> 00:08:05.420 Вы не можете заставить второго пилота работать как калькулятор, он для этого не предназначен. 00:08:05.420 --> 00:08:08.660 Но вы можете окружить его страховочными сетями. Контроль со стороны человека, 00:08:08.900 --> 00:08:12.580 системы мониторинга и механизмы управления служат такой сетью. С ними модель продолжает 00:08:12.580 --> 00:08:16.380 импровизировать, но не срывает представления. Без них дрейф параметров становится неконтролируемым, 00:08:16.440 --> 00:08:19.460 а команды по комплайнсу вынуждены оправдывать решения, которые никто не может обосновать. 00:08:19.620 --> 00:08:23.520 Ставки очевидны. Непредсказуемость нейтральна сама по себе, но она влияет на результаты, 00:08:23.560 --> 00:08:27.580 от которых зависят кредиты, работа или здравоохранение. И когда выводы системы приобретают 00:08:27.580 --> 00:08:30.920 реальный вес, вмешиваются регуляторы. Это подводит нас к новому рубежу, 00:08:30.920 --> 00:08:35.400 надвигающемуся появлению внешних правил, которые не просто рекомендуют, а предписывают надзор. 00:08:35.520 --> 00:08:40.200 Закон ЕС АБИИ «Астероид приближается». Представьте, что вы создали блестящий новый 00:08:40.200 --> 00:08:45.000 ИИ-проект — цифровой город с аккуратными улицами и кипучей деятельностью. Районы данных, 00:08:45.280 --> 00:08:50.780 мосты интеграции, небоскребы умных функций. Все выглядит надежно, но в одночасье закон ЕС АБИИ 00:08:50.780 --> 00:08:55.020 обрушивается, словно свод правил зонирования, сброшенный с орбиты. Целые кварталы вашего города 00:08:55.020 --> 00:08:58.960 теперь помечены как регулируемые, некоторые — как требующие строгого контроля, а другие — просто запрещены, 00:08:58.960 --> 00:09:02.500 если затрагивают манипулятивные или вредоносные сферы. Это не выбор, это закон, 00:09:02.720 --> 00:09:07.060 и ваш город должен перестроиться, планировали вы это или нет. В основе этих правил лежит 00:09:07.060 --> 00:09:11.240 категоризация. Системы распределяются по уровням риска — минимальный, ограниченный, 00:09:11.440 --> 00:09:15.080 высокий или абсолютно неприемлемый. Минимальный риск может охватывать чат-бот, 00:09:15.260 --> 00:09:18.700 отвечающий на вопросы клиентов. Высокий риск включает инструменты рекрутинга, 00:09:18.860 --> 00:09:22.700 кредитного скоринга и мониторинга сотрудников. Неприемлемый уровень охватывает манипулятивное 00:09:22.700 --> 00:09:26.520 или опасное использование, которое фактически полностью запрещено. Это не просто ярлыки, 00:09:26.520 --> 00:09:30.140 они напрямую связаны с обязательствами. Если система отнесена к высокому риску, 00:09:30.260 --> 00:09:33.980 вы обязаны обеспечить прозрачность и объяснимость, ввести подробные логи для аудита и внедрить 00:09:33.980 --> 00:09:37.460 контроль со стороны человека. Внезапно от вашего нового блестящего города требует не просто 00:09:37.460 --> 00:09:41.160 функционировать, а детально доказывать, как именно и почему он это делает. Для разработчиков и 00:09:41.160 --> 00:09:45.060 создателей решений это резкий поворот. Вчера функции можно было внедрять в приложение на 00:09:45.060 --> 00:09:48.940 спринтерской скорости. Сегодня эти же функции могут потребовать проверки на соответствие нормам 00:09:48.940 --> 00:09:52.840 еще до первой демонстрации. Приложение для подбора персонала, ранжирующее резюме в Power Platform, 00:09:52.840 --> 00:09:56.840 некогда просто удобный инструмент, внезапно попадает в категорию высокого риска. Оно не сломалось, 00:09:57.000 --> 00:10:01.060 оно просто влияет на людей способами, которые закон определяет как чувствительные, и это меняет 00:10:01.060 --> 00:10:05.720 ставки. И именно здесь у многих команд начинается паника. Прозрачность означает наличие журналов 00:10:05.720 --> 00:10:09.880 принятия решений, а не расплывчатый список пунктов в презентации. Подотчетность требует, 00:10:10.060 --> 00:10:14.000 чтобы каждый путь принятия решений был сохранен и доступен для проверки регуляторами. 00:10:14.180 --> 00:10:18.140 Человеческий надзор означает реальную ответственность, живые люди следят за системой и способны 00:10:18.140 --> 00:10:21.360 вмешаться, если модель отклоняется от курса. Это не легкие рекомендации, 00:10:21.360 --> 00:10:24.980 а обязательные к исполнению условия. Быстрые прототипы превращаются в контролируемые 00:10:24.980 --> 00:10:28.620 развертывания, где на каждом этапе требуется одобрение соответствия. Скорость уступает 00:10:28.620 --> 00:10:32.880 место структуре. Воспринимайте этот закон не как бурократию, а как правило подача кислорода на 00:10:32.880 --> 00:10:36.640 космическом корабле. Можно закатить глаза, когда маска выпадает при спокойном полете, 00:10:36.900 --> 00:10:41.440 но в зоне турбулентности это единственное, что спасает экипаж. С законом то же самое. Правила 00:10:41.440 --> 00:10:46.040 кажутся тяжелыми, пока не вспомнишь, зачем они нужны. Один сбой может задушить доверие ко всей 00:10:46.040 --> 00:10:50.820 отрасли. И вот важное предупреждение. Вы не можете отложить соблюдение закона. Закон вводит 00:10:50.820 --> 00:10:55.340 обязательства прямо сейчас. И внедрять журналы, средства контроля и надзор постфактум будет 00:10:55.340 --> 00:11:00.100 дороже, чем заложить их на этапе проектирования. Последствия игнорирования этих требований – это 00:11:00.100 --> 00:11:05.060 не только финансы. Штрафы болезненны, да, но репутацию восстановить сложнее. Как только клиенты 00:11:05.060 --> 00:11:09.820 узнают, что ваш инструмент перешел черту, доверие ко всей вашей компании рушится. Это нельзя исправить 00:11:09.820 --> 00:11:14.100 обновлением по. Общественное доверие хрупко, и как только оно трескается, пользователи уходят к конкурентам. 00:11:14.100 --> 00:11:17.340 Самое суровое наказание прописано не в законе, а в поведении клиентов. 00:11:17.480 --> 00:11:22.160 Итак, вот неудобный вопрос для инвентаризации. Знаете ли вы, какие из ваших функций и относятся 00:11:22.160 --> 00:11:25.820 к категории высокого риска? Тот сортировщик резюме, тот инструмент для прогнозирования 00:11:25.820 --> 00:11:29.340 продуктивности. Если они затрагивают чувствительные сферы, такие как трудоустройство или финансовые 00:11:29.340 --> 00:11:33.180 перспективы, закон ими интересуется. И неважно, считаете ли вы их безобидными помощниками. 00:11:33.500 --> 00:11:37.840 Классификация влечет за собой обязательства, признаете вы их или нет. Умные организации начинают с 00:11:37.840 --> 00:11:41.900 инвентаризации, каталогизируя функции до того, как регуляторы заставят их отвечать за штрафы. 00:11:41.900 --> 00:11:46.000 В этом и заключается главный подвох. Закон немягко рекомендует ответственный и, 00:11:46.120 --> 00:11:50.540 он его требует. Управление теперь не дополнительная приправа. Оно закреплено в законе. 00:11:50.660 --> 00:11:55.020 Либо вы изначально строите архитектуру с учетом ответственности, либо закон принудит 00:11:55.020 --> 00:12:00.440 вас к этому извне, с помощью штрафов и аудиторов. В этом смысле астероид уже упал. Вы не сможете 00:12:00.440 --> 00:12:04.000 его оттолкнуть. Вы можете лишь защититься от удара и сохранить пригодность своего города 00:12:04.000 --> 00:12:08.460 для жизни. Что поднимает практический вопрос. Какие щиты у вас под рукой? Ведь в этих условиях 00:12:08.460 --> 00:12:12.380 выживания после падения астероида зависит не от удачи, а от использования средств защиты, 00:12:12.560 --> 00:12:17.020 которые уже есть на вашей панели управления. Щиты и предохранители экосистемы Microsoft 00:12:17.020 --> 00:12:23.700 В экосистеме Microsoft щиты уже встроены в корабль. Вам нужно только включить их. Microsoft 365 и 00:12:23.700 --> 00:12:27.320 Power Platform содержат инструменты управления, которые слишком часто остаются незамеченными, 00:12:27.480 --> 00:12:30.520 словно это необязательные дополнения. Это не декор, это структурная обшивка, 00:12:30.520 --> 00:12:34.080 которая сохраняет ваши системы целыми, когда на пороге появляются риски и проверки. 00:12:34.240 --> 00:12:38.080 Опасность возникает, когда команды бросают взгляд на эти панели, пожимают плечами и идут дальше. 00:12:38.080 --> 00:12:42.160 Ведь это не бонусные функции, а снаряжение для выживания. Начните с прозрачности. 00:12:42.320 --> 00:12:47.420 Microsoft 365 и Power Platform включают функции контроля, позволяющие отслеживать поведение моделей, 00:12:47.620 --> 00:12:52.140 протоколировать решения и получать объяснения простыми словами. Не нужно полагаться на «черный ящик», 00:12:52.140 --> 00:12:56.000 выдающий странные вердикты. Вы получаете реальную обратную связь, сигналы на консоли, 00:12:56.180 --> 00:13:00.780 как только алгоритм отклоняется от курса. Это разница между слепым управлением и навигацией по приборам, 00:13:00.800 --> 00:13:04.620 которые точно показывают, когда вы сбиваетесь с пути. Затем идет прозрачность. 00:13:04.620 --> 00:13:08.840 Некоторые поставщики, например, AWS, предоставляют карты сервисов и для документирования использования 00:13:08.840 --> 00:13:12.900 и ограничений моделей. Microsoft подходит к этому иначе, со своим стандартом ответственного и 00:13:12.900 --> 00:13:16.940 инструментами, такими как панель мониторинга Responsible Eye. Они предоставляют специалистам 00:13:16.940 --> 00:13:20.620 отчеты об объяснимости, заметки о производительности и обосновании дизайнерских решений. 00:13:20.760 --> 00:13:23.560 Представьте это как второго пилота, который комментирует свои рассуждения, 00:13:23.760 --> 00:13:27.440 а не просто выдает готовый план. Вы видите каждый довод, а не только итоговый результат. 00:13:27.680 --> 00:13:31.660 Что касается защиты на уровне модели, запомните вот что. Все поставщики предоставляют 00:13:31.660 --> 00:13:35.580 те или иные предохранители. В среде Microsoft вы найдете средства контроля политик, 00:13:35.700 --> 00:13:39.180 панели объяснимости и журналы аудита, которые выполняют ту же роль, блокируют 00:13:39.180 --> 00:13:42.380 вредоносные запросы и фильтруют результаты до того, как они приведут к хаосу. 00:13:42.480 --> 00:13:46.480 Для самой объяснимости существуют устоявшиеся методы, такие как SHAP или специфические 00:13:46.480 --> 00:13:50.200 инструменты, например, SageMaker Clarific. В мире Microsoft эту роль выполняет панель 00:13:50.200 --> 00:13:54.200 мониторинга Responsible AI, предоставляющая четкие отчеты о том, какие переменные повлияли 00:13:54.200 --> 00:13:58.440 на выбор модели. Благодаря им магическое решение и перестает быть пугающим фокусом. 00:13:58.440 --> 00:14:02.260 Вы можете увидеть, какие входные данные были важны, и оценить, был ли результат справедливым. 00:14:02.360 --> 00:14:05.600 Аудиторы получают доказательства, которые можно проверить, а пользователи начинают доверять 00:14:05.600 --> 00:14:08.980 тому, что модель не выдумывает чепуху на пустом месте. И, наконец, самая простая, 00:14:09.180 --> 00:14:13.280 но жизненно важная страховочная сеть – защита данных. Включите защиту от потери данных, 00:14:13.460 --> 00:14:17.440 чтобы конфиденциальная информация не утекала куда не следует, и дополните ее хранением 00:14:17.440 --> 00:14:21.660 журналов и аудиторских следов. В совокупности они работают как ваш бортовой самописец. 00:14:21.840 --> 00:14:25.420 Каждое действие и каждое отклонение фиксируются, чтобы вы могли проследить ошибки, 00:14:25.420 --> 00:14:28.800 когда они возникают. Пропустите это, и в случае сбоев вам останется лишь гадать, 00:14:29.000 --> 00:14:33.120 что произошло. Выгода от этого вполне осязаема. Возьмем, к примеру, простое приложение PowerApp, 00:14:33.300 --> 00:14:36.660 созданное с помощью iBuilder. В ранних версиях оно собирало больше персональных данных, 00:14:36.860 --> 00:14:40.900 чем могла бы оправдать любая организация. Имена, записи, конфиденциальные поля – все было 00:14:40.900 --> 00:14:43.820 открыто. Как только настройки соответствия были активированы, поток прекратился, 00:14:43.960 --> 00:14:47.220 границы данных укрепились, приложение продолжило работу, а правила конфиденциальности были 00:14:47.220 --> 00:14:51.340 соблюдены. Архитектуру не пришлось сносить и перестраивать заново. Ее просто привели в соответствие, 00:14:51.340 --> 00:14:55.360 включив защитные функции, которые были доступны с самого начала. Для первых этапов внедрения 00:14:55.360 --> 00:14:59.740 стоит использовать еще одну практику – огороженные сады в стиле Телус. Тестируя инструменты 00:14:59.740 --> 00:15:03.860 Copilot в изолированной и проверяемой песочнице, вы ограничиваете любое неожиданное поведение 00:15:03.860 --> 00:15:07.920 безопасной зоны перед запуском в критически важные рабочие процессы. Это испытательный полигон с 00:15:07.920 --> 00:15:11.620 достаточно высокими стенами, чтобы ошибки не просачивались в производственные системы. Добавьте 00:15:11.620 --> 00:15:15.580 к этому надежный мониторинг, и ваша организация обнаружит ошибки раньше, чем они попадут в заголовки 00:15:15.580 --> 00:15:19.720 новостей. Панели управления безопасностью объединяют все это воедино. Это не просто экраны статуса, 00:15:19.720 --> 00:15:22.940 они дают командам инструменты для активного контроля. Руководители могут проверять, 00:15:23.080 --> 00:15:26.460 одобрять или отклонять результаты работы и в режиме реального времени. Это встроенный в систему 00:15:26.460 --> 00:15:30.580 принцип участия человека в управлении. Без такого контроля автоматизация работает бесконтрольно, 00:15:30.780 --> 00:15:34.820 пока не столкнется с нарушением политики. С панелями управления люди оказываются в диспетчерской 00:15:34.820 --> 00:15:38.780 вышке, координируя каждую и систему, как самолеты в загруженном воздушном пространстве. 00:15:38.980 --> 00:15:43.240 Вместо хаоса вы получаете синхронизированный и управляемый поток. И именно здесь происходит 00:15:43.240 --> 00:15:46.740 переломный момент. Как только организации начинают видеть в этих системах средства защиты, 00:15:46.740 --> 00:15:50.320 они превращаются из регуляторного бремени в множитель продуктивности. Вы избегаете лишней 00:15:50.320 --> 00:15:53.800 переработки. Вы мгновенно предоставляете регуляторам все необходимые журналы. Вы двигаетесь 00:15:53.800 --> 00:15:57.000 быстрее, потому что соответствие требованиям было частью дизайна, а не патчем, добавленным позже. 00:15:57.100 --> 00:16:01.480 То, что раньше тормозило ваш темп, теперь его ускоряет. Тем не менее, щиты не работают сами по себе. 00:16:01.660 --> 00:16:06.160 Они требуют настройки, проверки и постоянного мониторинга. Эти средства контроля помогают, 00:16:06.340 --> 00:16:11.020 но ими должны грамотно управлять люди. Советы по управлению – последняя защита от хаоса. 00:16:11.020 --> 00:16:15.200 Представьте совет по управлению как экипаж мостика вашего звездолета. Это коллектив, 00:16:15.200 --> 00:16:20.040 удерживающий курс, когда турбулентность сотрясает штурвал. Щиты, переключатели соответствия и 00:16:20.040 --> 00:16:23.720 журналы аудита могут работать в фоновом режиме, но кто-то все равно должен смотреть в окно, 00:16:23.900 --> 00:16:27.880 следить за приборами и реагировать, когда происходит непредвиденное. Без этого контроля даже 00:16:27.880 --> 00:16:32.800 лучшие ограничители – это лишь металл без человеческого суждения. Совет по управлению – это не один 00:16:32.800 --> 00:16:37.180 офицер, раздающий приказы. Она создается как кросс-функциональная группа, объединяющая технических 00:16:37.180 --> 00:16:40.740 руководителей, специалистов по управлению данными, юридических или комплайенс-консультантов, 00:16:40.860 --> 00:16:44.440 представителя бизнеса и как минимум одного независимого эксперта. Каждый играет свою роль, 00:16:44.440 --> 00:16:48.800 потому что и не вписывается в рамки одного подразделения. Инструмент для проверки резюме влияет 00:16:48.800 --> 00:16:53.220 на HR, алгоритм прогнозирования на финансы, а чат-бот общается напрямую с вашими клиентами. 00:16:53.360 --> 00:16:57.560 Одно подразделение не способно предвидеть все последствия. Нужен круглый стол, чтобы выявлять 00:16:57.560 --> 00:17:01.740 и устранять риски, пока они не распространились на все отделы. А теперь представьте работу без такой 00:17:01.740 --> 00:17:06.940 команды. Оставить и без контроля – это как включить автопилот в поле астероидов. Все идет нормально, 00:17:07.180 --> 00:17:11.420 пока один странный маневр не уводит корабль с курса. Защитные механизмы могут быть установлены, 00:17:11.420 --> 00:17:15.120 но они не интерпретируют, не ставят под сомнение и не предвидят. Совет по управлению – это 00:17:15.120 --> 00:17:18.200 мыслящий слой, люди, которые смотрят дальше мигающих индикаторов, оценивая контекст, 00:17:18.360 --> 00:17:21.780 этику и возможные последствия, прежде чем отклонение превратится в катастрофу. Их обязанности 00:17:21.780 --> 00:17:25.280 вовсе не абстрактны. Они проводят регулярные проверки на предвзятость и справедливость, 00:17:25.420 --> 00:17:28.520 подтверждают происхождение данных, анализируют отчеты о соответствии и очлеживают, 00:17:28.660 --> 00:17:32.600 как недетерминированные системы импровизируют. Они задают ритм, устанавливая график проверок, 00:17:32.600 --> 00:17:36.540 чтобы проблемы выявлялись на ранних этапах, а не после запуска, и дополняют это определением 00:17:36.540 --> 00:17:40.120 ключевых показателей эффективности, справедливости, точности и метрик отклонения, 00:17:40.380 --> 00:17:43.500 чтобы мониторинг был не догадками, а измеримой ответственностью. Особенно для 00:17:43.500 --> 00:17:48.300 недетерминированных результатов эти советы контролируют границы и не всегда выдает одинаковые 00:17:48.300 --> 00:17:53.220 ответы. Он выбирает варианты, импровизирует, размышляет. Это может приводить к креативным ответам 00:17:53.220 --> 00:17:57.760 или же к вводящим в заблуждение результатам, подрывающим доверие. Совет по управлению выступает 00:17:57.760 --> 00:18:02.080 в роли цифрового стража, фиксируя неожиданные результаты, тестируя промпты на уязвимости, 00:18:02.080 --> 00:18:06.660 отмечая опасные паттерны и возвращая человека в процесс, когда автоматические фильтры что-то 00:18:06.660 --> 00:18:10.920 пропускают. Они не сдерживают инновации, они удерживают их в рамках безопасности. 00:18:11.060 --> 00:18:15.200 И вот в чем практическая разница. Организации с эффективными советами по управлению обычно 00:18:15.200 --> 00:18:19.300 выявляют проблемы еще на этапе испытаний. Аудит справедливости обнаруживает предвзятость 00:18:19.300 --> 00:18:23.700 в модели подбора персонала. Проблему тихо устраняют, и внедрение проходит без скандалов. 00:18:23.800 --> 00:18:28.780 В организациях без такого надзора история сначала попадает в прессу. Клиенты сталкиваются с ущербом, 00:18:28.780 --> 00:18:32.640 регуляторы обнаруживают сбои, и корректирующие меры принимаются слишком поздно. 00:18:32.880 --> 00:18:37.460 Предотвращение стоит времени. Исправление ошибок стоит репутации. Этот сценарий повторяется 00:18:37.460 --> 00:18:41.780 достаточно часто, чтобы урок стал очевиден. В основе работы этих советов лежат справедливость, 00:18:41.940 --> 00:18:46.060 прозрачность, подотчетность, безопасность и конфиденциальность. Справедливость гарантирует, 00:18:46.240 --> 00:18:49.140 что результаты не дискриминируют пользователей по демографическим признакам. 00:18:49.260 --> 00:18:53.080 Прозрачность требует, чтобы решения были объяснимы простыми словами как для пользователей, 00:18:53.240 --> 00:18:56.620 так и для комплайенса. Подотчетность обеспечивает наличие ответственного лица, 00:18:56.620 --> 00:19:00.580 которое принимает на себя ответственность, не «это сделал и и», а этот сотрудник отвечает за 00:19:00.580 --> 00:19:04.340 результат. Безопасность предотвращает причинение вреда или злоупотребление результатами работы 00:19:04.340 --> 00:19:08.840 системы. Конфиденциальность защищает чувствительные данные, чтобы люди не стали невольным грузом в 00:19:08.840 --> 00:19:12.680 рискованном плавании. Каждый принцип силен сам по себе, но вместе они сваривают корпус, 00:19:12.800 --> 00:19:16.340 который позволяет ответственному и работать под пристальным вниманием. И советы не просто 00:19:16.340 --> 00:19:21.240 поддерживают принципы, они выполняют конкретные действия. Они проверяют документацию моделей на ясность, 00:19:21.380 --> 00:19:25.600 проводят оценку рисков для классификации сценариев использования и обеспечивают контроль со стороны 00:19:25.600 --> 00:19:29.800 человека там, где это необходимо. В качестве первоочередной задачи одним из самых простых и 00:19:29.800 --> 00:19:34.040 ценных шагов является инвентаризация сценариев использования и оценка их рисков. Эта быстрая 00:19:34.040 --> 00:19:37.700 карта показывает, какие проекты относятся к категории высокого риска, какие требуют строгого 00:19:37.700 --> 00:19:41.940 управления, а какие менее значимы. Это осязаемое доказательство для руководства и регуляторов того, 00:19:42.140 --> 00:19:46.260 что надзор структурирован, а не импровизирован. Даже на полной скорости заседания совета действуют 00:19:46.260 --> 00:19:50.920 как регулярные сканирования во время пути. Они не только определяют стратегию, но и очлеживают метрики и 00:19:50.920 --> 00:19:55.660 обеспечивают соблюдение отчетности. Такая периодичность создает устойчивость. Циклы тестирования, 00:19:55.880 --> 00:20:00.940 KPI справедливости и проверки на отклонения задают ритм, чтобы меры защиты оставались активными, 00:20:01.140 --> 00:20:05.900 они исчезали после внедрения. Благодаря этим ритуалам надзор перестает быть разовой галочкой и 00:20:05.900 --> 00:20:10.300 становится живым процессом. И для подбора персонала – поучительная история. Модели, 00:20:10.500 --> 00:20:14.940 обученные на ошибочных данных, незаметно впитали предвзятость, занижая рейтинг кандидатов из 00:20:14.940 --> 00:20:19.140 определенных групп без какого-либо умысла разработчиков. Оставшись незамеченной, дискриминация 00:20:19.140 --> 00:20:22.600 распространилась в масштабе, пока не дошло до судебных исков. Совет по управлению, 00:20:22.780 --> 00:20:26.400 вооруженный аудитами справедливости и проверками происхождения данных, мог бы заметить перекос 00:20:26.400 --> 00:20:30.500 задолго до запуска. Это разница, предотвращение против обнаружения, и есть причина существования 00:20:30.500 --> 00:20:34.980 таких советов. Итак, советы по управлению – это не побочные проекты и не декоративные комитеты. 00:20:35.140 --> 00:20:39.060 Это последняя линия обороны между устойчивым руководством и ХАСом. Команда, ответственная за 00:20:39.060 --> 00:20:43.080 превращение лозунгов об ответственном и в реальную практику. Поддерживая структуру, метрики и 00:20:43.080 --> 00:20:47.480 подотчетность, они гарантируют, что судно движется вперед, сохраняя доверие. И это возвращает 00:20:47.480 --> 00:20:52.220 нас к началу. С появлением советов надзор становится культурой, а не латанием дыр, что подводит 00:20:52.220 --> 00:20:56.640 нас к главному выводу. Ответственная ИИ – это не бонусная настройка, которую включают для вида. 00:20:56.760 --> 00:21:00.700 Это система безопасности, которая определяет, переживете ли вы грядущую турбулентность. 00:21:01.060 --> 00:21:05.060 Ответственная ИИ – это не опция, это то, что отличает организацию, которая держит ситуацию под 00:21:05.060 --> 00:21:09.780 контролем, от той, что дрейфует в ХАС. С его помощью вы укрепляете доверие, значительно снижаете риски и 00:21:09.780 --> 00:21:13.260 обеспечиваете своим проектом и долгосрочный успех, а не кратковременные вспышки. 00:21:13.380 --> 00:21:17.060 Итак, вот ваш следующий шаг. Проведите инвентаризацию сценариев использования ИИ, 00:21:17.220 --> 00:21:21.120 включите защиту, уже имеющуюся в вашей платформе, и создайте совет по управлению для их контроля. 00:21:21.260 --> 00:21:24.440 Относитесь к этим шагам как к центру управления полетами, а не как к побочным квестам. 00:21:24.560 --> 00:21:27.620 В описании выпуска есть чек-лист и ссылки на инструменты, которые мы обсуждали, 00:21:27.620 --> 00:21:31.300 чтобы вы могли начать прямо сейчас. Если этот эпизод зарядил ваши делитиевые кристаллы, 00:21:31.480 --> 00:21:35.460 настройте подкаст на автоматическую стыковку. Подписывайтесь, присылайте свои вопросы на 00:21:35.460 --> 00:21:38.140 Собака Ауршоу, и в следующий раз я зачитаю лучшие из них.