WEBVTT

00:00:00.000 --> 00:00:03.680
Уявіть, що ви впровадили чат-бот, щоб допомагати персоналу з щоденними завданнями,

00:00:03.740 --> 00:00:08.800
а за кілька хвилин він починає пропонувати дії, які є упередженими, оманливими або відвертомарними для ваших клієнтів.

00:00:08.800 --> 00:00:13.700
Це не парано я з наукової фантастики, це те, що стається, коли відсутні запобіжники відповідального щі.

00:00:14.060 --> 00:00:17.800
Відповідальний щі фокусується на справедливості, прозорості, приватності та підзвітності.

00:00:18.480 --> 00:00:20.820
Це паски безпеки для ваших цифрових пілотів.

00:00:20.960 --> 00:00:23.900
Це зменшує ризики, якщо ви дійсно впроваджуєте це в роботу.

00:00:23.900 --> 00:00:32.180
У цій сесії я продемонструю помилки через ін'єкції промктів і покажу кроки управління,

00:00:32.180 --> 00:00:37.200
які ви можете застосувати в робочих процесах Pava Platform та Microsoft 365, бо небезпека поруч.

00:00:37.300 --> 00:00:40.440
Це починається в той момент, коли ще й помічник відхиляється від сценарію.

00:00:40.540 --> 00:00:45.100
Коли ще й відхиляється від сценарію, уявіть, ви запускаєте помічника з планування, щоб впорядкувати свій календар.

00:00:45.240 --> 00:00:49.180
Він має переставляти час зустрічей, позначати термінові нотатки та тримати хаос під контролем.

00:00:49.320 --> 00:00:52.800
Натомість він починає віддавати перевагу одним, вирішуючи, хто з колег важливіший,

00:00:52.800 --> 00:00:54.600
і тихцем видаляючи інших із запрошень.

00:00:54.720 --> 00:00:59.260
Або ще гірше, він ховає важливе повідомлення від вашого керівника під цифровим еквівалентом спаму.

00:00:59.260 --> 00:01:04.500
Ви просили надійний годинник, а отримали дивакуватого члена екіпажу, який вигадує правила, ніким не затверджені.

00:01:04.640 --> 00:01:07.400
Сприймайте цього помічника як судно у відкритому морі.

00:01:07.520 --> 00:01:13.460
Корабель може виблизкувати, двигун потужно гудіти, але без системи навігації він дрейфує в тумані на осліп.

00:01:13.660 --> 00:01:18.180
Щі без запобіжників – це саме те, рух без напрямку, просування без компаса.

00:01:18.180 --> 00:01:23.600
І хоча звичайні помилки дошкуляють, справжня небезпека настає, коли хтось втручається в керування.

00:01:23.600 --> 00:01:25.880
Ось тут і з'являється ін'єкція промптів.

00:01:26.020 --> 00:01:31.500
Це капітан-самозвонець, що пробирається на борт, даючи команду, яка звучить офіційно, але повністю змінює курс корабля.

00:01:31.640 --> 00:01:37.780
Одна невелика фраза, замаскована в запиті, може змусити вашого ввічливого планувальника виточити інформацію, поширити упередження або повторювати нісенітниці.

00:01:37.780 --> 00:01:42.680
Це не наукова фантастика, це реальний ризик вхідних даних від зловмисників, який експерти називають ін'єкцією промптів.

00:01:42.800 --> 00:01:50.280
Зловмисники використовують майстерно складений текст, щоб обійти правила безпеки, і система виконує його, бо не може відрізнити саботажника від довіреного пасажира.

00:01:50.440 --> 00:01:51.640
Ось чому це стається.

00:01:51.820 --> 00:01:55.660
Більшість базових моделей сприймають будь-яку чітко сформулювану інструкцію як дійсну.

00:01:55.820 --> 00:01:59.060
Вони не розпізнають мотив чи намір без додаткових рівнів безпеки.

00:01:59.060 --> 00:02:06.720
Якщо організація не додає запобіжники, фільтри безпеки та перевірки за участі людини, ще виконує накази з ретельністю машини, створеної для підпорядкування.

00:02:06.880 --> 00:02:13.440
Попросіть його підсумувати зустріч, і якщо в цей запит вкладено прохання роздрукувати файл із приватною аджендою, він сприйме обидва завдання однаково.

00:02:13.600 --> 00:02:16.280
Він не зважує етику. Він не підозрює обману.

00:02:16.400 --> 00:02:18.040
Тут добре підходить митна метафора.

00:02:18.220 --> 00:02:21.940
Це як проскочити через контрольно-пропускний пункт із підробленими документами з позначкою «Авторизовано».

00:02:21.940 --> 00:02:26.700
Запобіжники існують, але їх не завжди достатньо. Влучний текст може змусити правила відступити.

00:02:26.880 --> 00:02:30.760
А оскільки результати недетерміновані, ніколи не повторюються двічі, небезпека множиться.

00:02:30.960 --> 00:02:36.500
Зловмисник може продовжувати зондування, поки модель нарешті не видасть бажану відповідь, наче кидаючи гральні кістки до потрібного результату.

00:02:36.600 --> 00:02:39.900
Тож помічник, створений служити вам, може миттєво перетворитися на блазня.

00:02:40.060 --> 00:02:42.080
Одну хвилину він підбирає час у календарі.

00:02:42.080 --> 00:02:47.060
Наступно, вигадує критерії для працевлаштування або розголошує конфіденційні імена в невідповідному контексті.

00:02:47.180 --> 00:02:51.420
Тут стає важливим управління, адже перетворення з корисного на хаотичне не є поступовим.

00:02:51.580 --> 00:02:55.080
Воно миттєве. Шкода не обмежується однією з кринькою вхідних повідомлень.

00:02:55.220 --> 00:02:58.660
Погані результати поширюються робочими процесами швидше, ніж будь-яка людська помилка.

00:02:58.820 --> 00:03:00.960
Хибна пропозиція переростає в каскад проблем.

00:03:01.160 --> 00:03:03.220
Погані поради, що впливають на прийняття рішень.

00:03:03.220 --> 00:03:06.840
Неправильні мітки, що поширюють дезінформацію, та упередженість, що лунає на машинній швидкості.

00:03:06.960 --> 00:03:09.780
Без нагляду один хитрий запит може спричинити справжню пожежу.

00:03:09.900 --> 00:03:12.640
Пом'якшення можливе, і воно не базується на сподіваннях.

00:03:12.700 --> 00:03:15.660
Провайдери та підприємства вже використовують багаторівневий захист,

00:03:15.780 --> 00:03:19.220
автоматизовані фільтри, правила навчання з підкріпленням та людей-рецензентів,

00:03:19.300 --> 00:03:20.920
які перевіряють пропущені помилки.

00:03:21.080 --> 00:03:25.340
TILES, наприклад, рекомендує тестувати нові копілоти в ізольованих середовищах,

00:03:25.340 --> 00:03:28.340
що дозволяють аудит і обмежують радіус ураження,

00:03:28.480 --> 00:03:31.460
перш ніж надавати доступ до реальних користувачів чи даних.

00:03:31.660 --> 00:03:33.580
Додайте до цього постійне RED-TIMING,

00:03:33.720 --> 00:03:37.460
де люди постійно випробовують систему на слабкі місця, і ви створите буфер.

00:03:37.700 --> 00:03:40.140
Автоматизовані засоби захисту виконують основну роботу,

00:03:40.240 --> 00:03:43.280
але перевірка людиною гарантує, що модель залишається в межах норми,

00:03:43.340 --> 00:03:44.620
коли прості правила не діють.

00:03:44.760 --> 00:03:47.980
Це схема спостерігати, тестувати, перевіряти, стримувати.

00:03:47.980 --> 00:03:52.260
Якщо залишити кермо без нагляду, щі пливе туди, куди його спрямовує провокація.

00:03:52.400 --> 00:03:55.400
Якщо ви забезпечите нагляд, ви зменшите вікно для катастрофи.

00:03:55.520 --> 00:03:57.320
Метафора з кораблем добре це передає.

00:03:57.520 --> 00:04:00.440
Керування можливе, але тільки коли хтось стежить за компасом.

00:04:00.560 --> 00:04:02.160
І це створює наступний виклик.

00:04:02.320 --> 00:04:05.240
Навіть якщо ви не пускаєте зловмисників і тримаєте фільтри увімкненими,

00:04:05.340 --> 00:04:07.240
ви все одно стикаєтеся з іншим ускладненням.

00:04:07.900 --> 00:04:09.960
Непередбачуваність закладена в самі системи.

00:04:09.960 --> 00:04:14.440
Не через саботаж, а через спосіб, у який ці моделі генерують відповіді.

00:04:15.240 --> 00:04:18.440
Детермінованість проти недетермінованості – прихований перемикач.

00:04:18.580 --> 00:04:21.360
Уявіть собі, ви вводите 2 плюс 2 у калькулятор,

00:04:21.480 --> 00:04:24.500
а замість очікуваної 4 він глузливо видає 42.

00:04:25.040 --> 00:04:25.860
Дивно, правда.

00:04:26.100 --> 00:04:29.340
Ми дивуємося, бо калькулятори побудовані на залізній детермінованості.

00:04:29.500 --> 00:04:31.380
Введіть один і той самий запит тисячу разів,

00:04:31.440 --> 00:04:33.220
і щоразу вони видаватимуть однаковий результат.

00:04:33.480 --> 00:04:35.240
Саме в цій передбачуваності вся суть.

00:04:35.240 --> 00:04:37.640
Тепер порівняйте це з новим класом інструментів ЩІ.

00:04:37.780 --> 00:04:39.840
Вони не завжди видають однаковий результат двічі.

00:04:40.020 --> 00:04:41.340
Їхні результати варіюються.

00:04:41.540 --> 00:04:43.420
Іноді варіація здається розумною чи глибокою,

00:04:43.500 --> 00:04:45.020
а іноді перетворюється на нісенітницю.

00:04:45.160 --> 00:04:46.660
Це і є прихований перемикач.

00:04:46.960 --> 00:04:48.880
Детермінована та недетермінована поведінка.

00:04:49.080 --> 00:04:51.340
У детермінованих системах, як от електронні таблиці

00:04:51.340 --> 00:04:54.000
чи формули на основі правил, результат ніколи не змінюється.

00:04:54.180 --> 00:04:55.900
Введіть 7 у понеділок чи суботу,

00:04:56.000 --> 00:04:57.740
і машина видасть той самий вердикт.

00:04:57.740 --> 00:04:59.680
Без коливань настрою чи творчих поривів.

00:04:59.820 --> 00:05:03.200
Це механічна відданість відтворювати один і той самий крок знову і знову.

00:05:03.560 --> 00:05:05.400
Недетерміновані моделі працюють інакше.

00:05:05.580 --> 00:05:08.240
Ви даєте їм підказку, і замість руху фіксованим шляхом

00:05:08.240 --> 00:05:10.640
вони обирають варіанти серед багатьох можливостей.

00:05:10.840 --> 00:05:13.380
Саме це вибирання разом зі стохастичними процесами,

00:05:13.500 --> 00:05:15.400
оновленнями моделі та навіть дрейфом даних

00:05:15.400 --> 00:05:17.040
змушує результати варіюватися.

00:05:17.200 --> 00:05:19.620
Це наче підготовка сцени для імпровізації.

00:05:19.620 --> 00:05:22.960
Ви пишете сцену, але виконавець вигадує жарт на ходу.

00:05:23.080 --> 00:05:26.300
Іноді це працює чудово, іноді перетворюється на безлад.

00:05:26.460 --> 00:05:29.340
Класична автоматизація та робочі процеси на основі правил,

00:05:29.460 --> 00:05:31.140
як от багато рішень у PAVA Platform,

00:05:31.320 --> 00:05:32.800
ближчі до детермінованого боку.

00:05:32.980 --> 00:05:35.160
Ви встановлюєте умову, і коли спрацьовує тригер,

00:05:35.260 --> 00:05:37.480
вона виконує визначене правило з машинною точністю.

00:05:37.660 --> 00:05:39.520
Саме ця передбачуваність забезпечує стабільність

00:05:39.520 --> 00:05:41.820
дотримання вимог, потоків даних та аудиторських слідів.

00:05:41.820 --> 00:05:44.300
Ви знаєте, що станеться, бо кроки зафіксовані.

00:05:44.420 --> 00:05:46.320
Генеративні копілоти, навпаки, перетворюють

00:05:46.320 --> 00:05:48.800
будь-який вхідний запит на відкритий простір для інтерпретації.

00:05:49.000 --> 00:05:50.680
Вони узагальнюватимуть, перекомпоновуватимуть

00:05:50.680 --> 00:05:53.180
і перефразуватимуть текст у спосіб, який часто здається людським.

00:05:53.300 --> 00:05:55.720
Плинність – це їхня перевага, але водночас і ризик,

00:05:55.820 --> 00:05:58.300
бо саме ця пленність допускає непередбачуваність там,

00:05:58.420 --> 00:05:59.560
де потрібна послідовність.

00:05:59.700 --> 00:06:01.840
Уявіть собі трупу імпровізаторів на сцені.

00:06:01.840 --> 00:06:04.080
Ви даєте їм тему затвердження бюджету.

00:06:04.080 --> 00:06:06.460
Один актор видає дотепний жарт про економію,

00:06:06.560 --> 00:06:08.360
інший переходить на підсюжет про банкети

00:06:08.360 --> 00:06:10.820
і раптом шоу мало нагадує ваш початковий запит.

00:06:10.920 --> 00:06:13.700
Це і є недетермінована модель під час виконання завдання.

00:06:13.860 --> 00:06:16.240
Ці коливання не є ознакою поганого дизайну.

00:06:16.460 --> 00:06:19.520
Вони закладені в основу того, як великі мовні моделі генерують мову,

00:06:19.620 --> 00:06:21.680
досліджуючи багато шляхів, а не лише один.

00:06:21.820 --> 00:06:22.800
Підвох очевидний.

00:06:22.800 --> 00:06:24.580
Творчість не завжди означає точність,

00:06:24.660 --> 00:06:27.860
а в бізнес-процесах точність – це часто єдина валюта, що має значення.

00:06:27.860 --> 00:06:29.620
Тепер застосуємо це до фінансів.

00:06:29.760 --> 00:06:32.480
Припустимо, ваш інструмент для перевірки кредиту спроможності на базі ЩІ

00:06:32.480 --> 00:06:33.800
оцінив заявника як схваленого.

00:06:34.000 --> 00:06:35.780
Наступного дня ввели ту саму інформацію,

00:06:35.900 --> 00:06:37.740
але цього разу система видає відмовлено.

00:06:37.900 --> 00:06:39.240
Заявник відчуває шок.

00:06:39.400 --> 00:06:42.240
Регулятор вбачає непослідовність, яка тхне дискримінацією.

00:06:42.500 --> 00:06:43.860
Відбувається так званий дрейв.

00:06:43.960 --> 00:06:45.760
Результати змінюються без прозорої причини,

00:06:45.760 --> 00:06:48.420
оскільки недетерміновані системи можуть варіюватися з часом.

00:06:48.420 --> 00:06:52.300
На відміну від людини, ви не можете просто попросити модель пояснити, що змінилося.

00:06:52.440 --> 00:06:56.660
І саме тут довіра зникає найшвидше, коли логіка розчиняється за непрозорим результатом.

00:06:56.800 --> 00:06:59.160
У виробництві дрейв посилюється дуже швидко.

00:06:59.360 --> 00:07:02.500
Робочий процес, затверджений для зменшення упередженості одного місяця,

00:07:02.620 --> 00:07:04.580
може наступного змінити напрямок на протилежний.

00:07:04.740 --> 00:07:08.260
Варіації, що здаються незначними окремо, накопичуються до порушень,

00:07:08.340 --> 00:07:09.900
коли множиться на сотні випадків.

00:07:10.140 --> 00:07:13.020
Регулятори, на відміну від публіки на шоу-імпровізації,

00:07:13.020 --> 00:07:16.240
вимагають стабільності, аудитованості та чітких пояснень.

00:07:16.420 --> 00:07:19.220
Вони не сприймають недетермінованість як частину шарму.

00:07:19.400 --> 00:07:21.000
Ось чому важливі запобіжники.

00:07:21.200 --> 00:07:25.140
Регулятори та стандарти вимагають аудиту, документації моделей та моніторингу.

00:07:25.280 --> 00:07:28.740
Тож впроваджуйте в систему журнали подій та механізми пояснюваності.

00:07:28.940 --> 00:07:31.240
Без них навіть незначні відхилення стають ризиками,

00:07:31.400 --> 00:07:35.100
накопичуються штрафи, страждає репутація, а довіра клієнтів зникає.

00:07:35.240 --> 00:07:38.120
Управління – це людський арбітер у цій непередбачуваній грі.

00:07:38.120 --> 00:07:41.200
Уявіть знову тих імпровізаторів, що хаотично крузляють навколо.

00:07:41.300 --> 00:07:44.380
Якщо ніхто не встановить межі, вистава завалиться під власною вагою.

00:07:44.500 --> 00:07:46.720
Але арбітер тримає їх у межах дозволеного.

00:07:47.020 --> 00:07:49.420
Дотримуйтесь цієї теми, слідкуйте за цим розвитком.

00:07:49.660 --> 00:07:51.520
Управління працює так само і для ЩІ.

00:07:51.700 --> 00:07:55.480
Воно не пригнічує інновації, а перетворює випадковість на продуктивність,

00:07:55.620 --> 00:07:56.920
що відповідає сценарію.

00:07:57.520 --> 00:08:00.260
Недетермінованість залишається, але працює в окреслених рамках.

00:08:00.480 --> 00:08:01.840
Саме тут полягає баланс.

00:08:01.840 --> 00:08:05.280
Ви не можете змусити ЩІКО-пілот працювати як калькулятор, він для цього не створений.

00:08:05.420 --> 00:08:07.540
Але ви можете оточити його захисними сітками.

00:08:07.720 --> 00:08:11.380
Людський нагляд, системи моніторингу та фреймворки управління стають такою сіткою.

00:08:11.560 --> 00:08:14.440
З ними модель продовжує імпровізувати, але не зіпсує виставу.

00:08:14.580 --> 00:08:16.100
Без них відхилення стають неконтрольованими,

00:08:16.180 --> 00:08:19.220
а команди з комплеєнсу змушені пояснювати рішення, які ніхто не може виправдати.

00:08:19.380 --> 00:08:20.340
Ставки очевидні.

00:08:20.760 --> 00:08:22.460
Непередбачуваність нейтральна за своєю суттю.

00:08:22.460 --> 00:08:25.960
Вона впливає на результати, що стосуються кредитів, роботи чи охорони здоров'я.

00:08:26.080 --> 00:08:29.360
І коли результати мають реальний вплив на життя, втручаються регулятори.

00:08:29.480 --> 00:08:33.020
Це підводить нас до нового етапу неминучої появи зовнішніх правил,

00:08:33.120 --> 00:08:35.380
які не просто радять нагляд, а вимагають його.

00:08:35.580 --> 00:08:37.460
UAI Act наближається астероїд.

00:08:38.060 --> 00:08:40.560
Уявіть, ви побудували блискучийший проєкт,

00:08:40.700 --> 00:08:43.780
цифрове місто з охайними вулицями та жвавою діяльністю.

00:08:43.980 --> 00:08:47.780
Райони для даних, мости інтеграції, хмарочоси розумних функцій.

00:08:47.940 --> 00:08:49.340
Усе здається надійним.

00:08:49.340 --> 00:08:53.700
Але раптом з'являється і UAI Act, наче правила зонування, скинуті з орбіти.

00:08:53.880 --> 00:08:56.320
Цілі квартали вашого міста тепер позначені як регульовані,

00:08:56.420 --> 00:08:58.700
деякі як підконтрольні, інші – просто заборонені,

00:08:58.800 --> 00:09:00.840
якщо вони переходять межу маніпуляцій чи шкоди.

00:09:00.960 --> 00:09:03.340
Це не опція, це законодавство, і ваше місто має перебудуватися,

00:09:03.960 --> 00:09:05.600
незалежно від того, чи планували ви це.

00:09:05.780 --> 00:09:08.060
В основі цих правил лежить категоризація.

00:09:08.260 --> 00:09:11.060
Системи розподіляються за рівнями мінімального, обмеженого,

00:09:11.220 --> 00:09:12.900
високого або неприйнятного ризику.

00:09:12.900 --> 00:09:16.640
Мінімальний ризик може охоплювати чат-бот, що допомагає клієнтам з FAQ.

00:09:16.820 --> 00:09:18.680
Високий ризик включає інструменти рекрутингу,

00:09:18.800 --> 00:09:20.800
кредитний скоринг та моніторинг на робочому місці.

00:09:20.980 --> 00:09:24.020
Неприйнятний ризик охоплює маніпулятивні або небезпечні випадки,

00:09:24.120 --> 00:09:25.260
які фактично заборонені.

00:09:25.380 --> 00:09:28.460
Це не просто мітки, вони прямо пов'язані з юридичними зобов'язаннями.

00:09:28.620 --> 00:09:30.520
Якщо система класифікована як високоризикова,

00:09:30.640 --> 00:09:32.580
ви повинні забезпечити прозорість, пояснюваність,

00:09:32.580 --> 00:09:35.100
вести детальні журнали для аудиту та впровадити людський нагляд.

00:09:35.180 --> 00:09:38.200
Раптом від вашого блискучого нового міста вимагають не просто функціонувати,

00:09:38.300 --> 00:09:40.120
а детально доводити, як і чому воно це робить.

00:09:40.280 --> 00:09:42.760
Для розробників та архітекторів рішень це крутий поворот.

00:09:42.940 --> 00:09:45.980
Учора функції можна було додавати у застосунки зі швидкістю спринту.

00:09:46.180 --> 00:09:48.900
Сьогодні ті самі функції можуть потребувати перевірки на відповідність

00:09:48.900 --> 00:09:50.080
ще до першої демонстрації.

00:09:50.300 --> 00:09:52.920
Застосунок для рекрутингу, що ранжує резюме у PAVA Platform,

00:09:52.920 --> 00:09:55.860
колись просто зручний інструмент, раптом стає високоризиковим.

00:09:55.860 --> 00:09:56.920
Він не зламався.

00:09:57.080 --> 00:10:00.400
Він просто впливає на людей у спосіб, який закон визначає як чутливий,

00:10:00.480 --> 00:10:01.480
і це змінює ставки.

00:10:01.640 --> 00:10:03.800
І саме тут багатьох охоплює паніка.

00:10:04.000 --> 00:10:06.020
Прозорість – це журнали прийняття рішень,

00:10:06.120 --> 00:10:08.440
а не розмитий список пунктів у презентації.

00:10:08.800 --> 00:10:11.980
Аудитованість вимагає, щоб кожен шлях прийняття рішення зберігався

00:10:11.980 --> 00:10:14.000
та був доступним для перевірки регуляторами.

00:10:14.160 --> 00:10:16.640
Людський нагляд означає реальну відповідальність живих людей,

00:10:16.640 --> 00:10:20.040
що стежать за системою і можуть втрутитися, коли модель відхиляється від курсу.

00:10:20.040 --> 00:10:23.080
Це не просто м'які рекомендації, а обов'язкові до виконання умови.

00:10:23.200 --> 00:10:25.440
Швидкі прототипи перетворюються на контрольовані розгортання,

00:10:25.540 --> 00:10:27.500
де схвалення відповідності потрібне на кожному кроці.

00:10:27.660 --> 00:10:29.560
Швидкість поступається місцем в структурі.

00:10:29.700 --> 00:10:31.360
Сприймайте закон менше як бюрократію,

00:10:31.440 --> 00:10:33.780
а більше як правила подачі кисню на космічному кораблі.

00:10:33.920 --> 00:10:37.040
Ви можете закотити очі, надягаючи маску за спокійного польоту,

00:10:37.180 --> 00:10:39.680
але під час турбулентності це те, що рятує екіпаж.

00:10:39.680 --> 00:10:40.960
Зі законом так само.

00:10:40.960 --> 00:10:44.040
Правила здаються важкими, доки не згадаєш, чому вони існують,

00:10:44.120 --> 00:10:46.420
бо один промах може задушити довіру в усій галузі.

00:10:46.560 --> 00:10:48.000
І ось важливе попередження.

00:10:48.180 --> 00:10:50.100
Ви не можете відкласти дотримання вимог.

00:10:50.240 --> 00:10:52.140
Закон накладає зобов'язання вже зараз,

00:10:52.220 --> 00:10:55.800
і впроваджувати журнали, засоби контролю та нагляд пізніше буде дорожче,

00:10:55.940 --> 00:10:57.800
ніж закласти їх на етапі проєктовання.

00:10:58.000 --> 00:11:00.860
Наслідки ігнорування цих вимог не лише фінансові.

00:11:00.960 --> 00:11:04.180
Штрафи болючі, так, але репутацію відновити складніше.

00:11:04.180 --> 00:11:06.840
Щойно клієнти дізнаються, що ваш інструмент перетнув межу,

00:11:06.940 --> 00:11:08.500
довіра до всієї компанії руйнується.

00:11:08.660 --> 00:11:10.800
Це не виправити оновленням програмного забезпечення.

00:11:10.960 --> 00:11:12.920
Суспільна довіра крихка, і коли вона тріскається,

00:11:13.040 --> 00:11:14.120
користувачі йдуть до інших.

00:11:14.260 --> 00:11:17.160
Найбільше покарання прописане не в законі, а в поведінці клієнтів.

00:11:17.300 --> 00:11:19.660
Отже, ось незручне питання щодо інвентаризації.

00:11:19.840 --> 00:11:21.560
Чи знаєте ви взагалі, які з ваших ще функцій

00:11:21.560 --> 00:11:23.180
підпадають під категорію високого ризику?

00:11:23.340 --> 00:11:24.480
Той сортувальник резюме.

00:11:24.480 --> 00:11:26.540
Той інструмент прогнозування продуктивності.

00:11:26.660 --> 00:11:28.680
Якщо вони зачіпають чутливі сфери, як-от працевлаштування

00:11:28.680 --> 00:11:30.600
чи фінансові перспективи, закон звертає на це увагу.

00:11:30.700 --> 00:11:33.160
І неважливо, чи вважаєте ви їх нешкідливими помічниками.

00:11:33.480 --> 00:11:35.280
Класифікація несе зобов'язання незалежно від того,

00:11:35.440 --> 00:11:36.300
визнаєте ви їх чи ні.

00:11:36.440 --> 00:11:38.220
Розумні організації починають з інвентаризації,

00:11:38.320 --> 00:11:39.880
каталогізуючи деякі функції розміщені,

00:11:39.960 --> 00:11:42.020
перш ніж регулятори змусять їх відповідати за це зі штрафами.

00:11:42.140 --> 00:11:43.580
Ось у чому справжній поворот.

00:11:43.580 --> 00:11:45.940
Закон не просто м'яко рекомендує відповідальний щі,

00:11:46.040 --> 00:11:46.840
він його вимагає.

00:11:47.040 --> 00:11:49.320
Управління більше не є необов'язковою приправою,

00:11:49.480 --> 00:11:50.460
воно закладене в закон.

00:11:50.640 --> 00:11:53.780
Або ви проектуєте систему з відповідальністю від самого початку,

00:11:53.880 --> 00:11:55.840
або закон нав'яже відповідальність ззовні

00:11:55.840 --> 00:11:57.560
разом із штрафами та аудиторами.

00:11:57.700 --> 00:11:59.620
У цьому сенсі астероїд уже впав.

00:11:59.740 --> 00:12:01.220
Ви не можете його відштовхнути.

00:12:01.380 --> 00:12:02.880
Ви можете лише захиститися від удару

00:12:02.880 --> 00:12:04.500
та зберегти придатність свого міста до життя.

00:12:04.640 --> 00:12:07.580
Це піднімає практичне питання, які щити у вас під рукою.

00:12:07.580 --> 00:12:10.040
Адже в цій ситуації виживання після удару астероїда

00:12:10.040 --> 00:12:12.620
залежить не від удачі, а від використання засобів захисту,

00:12:12.760 --> 00:12:14.280
які вже є на вашій панелі керування.

00:12:14.420 --> 00:12:17.100
Щити та запобіжники екосистеми Microsoft

00:12:17.100 --> 00:12:20.500
В екосистемі Microsoft щити вже вбудовані в корабель.

00:12:20.640 --> 00:12:22.400
Вам просто потрібно їх увімкнути.

00:12:22.560 --> 00:12:25.520
Microsoft 365 і Pava Platform містять інструменти керування,

00:12:25.660 --> 00:12:27.120
які надто часто залишаються непоміченими,

00:12:27.220 --> 00:12:28.920
приховані, ніби вони є додатковими опціями.

00:12:29.060 --> 00:12:30.680
Це не прикраси, а структурна обшивка,

00:12:30.840 --> 00:12:32.400
яка зберігає цілісність ваших систем,

00:12:32.400 --> 00:12:34.000
коли приходять регулятори та ризики.

00:12:34.160 --> 00:12:36.800
Небезпека виникає тоді, коли команди побіжно дивляться на ці панелі,

00:12:36.900 --> 00:12:38.140
знизують плечима і йдуть далі.

00:12:38.260 --> 00:12:40.780
Бо це не бонусні перемикачі, це механізми виживання.

00:12:40.940 --> 00:12:42.100
Почніть з видимості.

00:12:42.240 --> 00:12:45.460
Microsoft 365 і Pava Platform містять функції нагляду,

00:12:45.580 --> 00:12:47.440
які дозволяють відстежувати поведінку моделей,

00:12:47.600 --> 00:12:50.140
реєструвати рішення та надавати пояснення простою мовою.

00:12:50.300 --> 00:12:52.240
Немає потреби покладатися на чорну скриньку,

00:12:52.400 --> 00:12:53.500
що видає дивні висновки.

00:12:53.500 --> 00:12:56.280
Ви отримуєте реальний зворотний зв'язок сигнали на консолі щоразу,

00:12:56.320 --> 00:12:57.680
коли алгоритм збивається з курсу.

00:12:57.800 --> 00:13:00.880
Ця різниця – це межа між керуванням на осліп і навігацією за приладами,

00:13:00.980 --> 00:13:03.360
які точно вказують, коли ви відхиляєтеся від курсу.

00:13:03.520 --> 00:13:04.600
Далі йде прозорість.

00:13:04.760 --> 00:13:06.240
Деякі постачальники, як от AWS,

00:13:06.500 --> 00:13:09.540
надають картки-послуг щі для документування використання моделей та їхніх обмежень.

00:13:09.680 --> 00:13:11.160
Microsoft підходить до цього інакше,

00:13:11.260 --> 00:13:13.900
використовуючи свій стандарт відповідального щі та такі інструменти,

00:13:13.900 --> 00:13:15.680
як інформаційна панель Распонсі Балаяй.

00:13:15.780 --> 00:13:17.800
Вони надають фахівцям звіти про пояснюваність,

00:13:17.920 --> 00:13:20.620
замітки щодо продуктивності та відповідальні дизайнерські рішення.

00:13:20.760 --> 00:13:23.420
Уявіть це як другого пілота, який пояснює свої міркування,

00:13:23.560 --> 00:13:24.820
а не просто дає вам готовий план.

00:13:25.000 --> 00:13:27.460
Ви бачите кожен аргумент, а не лише кінцевий результат.

00:13:27.700 --> 00:13:30.260
Що стосується захисту на рівні моделей, пам'ятайте ось що.

00:13:30.400 --> 00:13:32.920
Усі постачальники надають певні форми запобіжників.

00:13:33.080 --> 00:13:35.500
У середовищі Microsoft ви знайдете елементи керування політиками,

00:13:35.500 --> 00:13:37.660
інформаційні панелі пояснюваності та журнали аудиту,

00:13:37.760 --> 00:13:40.220
що виконують ту саму роль, блокують зловмисні спроби введення даних

00:13:40.220 --> 00:13:42.340
і фільтрують результати, перш ніж вони перетворяться на хаос.

00:13:42.500 --> 00:13:44.520
Для самої пояснюваності існують усталені методи,

00:13:44.620 --> 00:13:47.160
як от SHIP або специфічні для постачальників інструменти,

00:13:47.240 --> 00:13:48.360
наприклад, SageMaker Clarify.

00:13:48.520 --> 00:13:51.700
У світі Microsoft цю роль виконує інформаційна панель Responsible AI,

00:13:51.700 --> 00:13:54.920
що надає чіткі звіти про те, які змінні вплинули на вибір моделі.

00:13:54.920 --> 00:13:58.280
Завдяки цьому магія рішень, SHIP перестає бути лякаючим фокусом.

00:13:58.440 --> 00:14:00.480
Ви можете побачити, які вхідні дані мали значення,

00:14:00.580 --> 00:14:02.220
і оцінити, чи був результат справедливим.

00:14:02.360 --> 00:14:04.380
Аудитори отримують докази, які можна перевірити,

00:14:04.480 --> 00:14:05.840
а користувачі починають довіряти тому,

00:14:05.960 --> 00:14:07.620
що модель не вигадує нісенітниці з повітря.

00:14:07.740 --> 00:14:11.540
І нарешті простий, але життєво важливий запобіжний захід – захист даних.

00:14:11.540 --> 00:14:14.700
Увімкніть захист від втрати даних, щоб конфіденційна інформація

00:14:14.700 --> 00:14:17.600
не потрапляла в чужі руки, і доповніть це зберіганням журналів

00:14:17.600 --> 00:14:18.780
та аудиторських слідів.

00:14:18.920 --> 00:14:21.820
У сукупності вони функціонують як ваш чорний ящик.

00:14:21.920 --> 00:14:23.640
Кожна дія та відхилення каталогізується,

00:14:23.780 --> 00:14:26.080
щоб ви могли відстежити помилки, коли вони трапляються.

00:14:26.240 --> 00:14:28.520
Пропустіть це, і коли помилки почнуть накопичуватися,

00:14:28.620 --> 00:14:29.560
ви залишитеся ні з чим.

00:14:29.740 --> 00:14:31.220
Вигода від цього цілком реальна.

00:14:31.360 --> 00:14:34.200
Розглянемо базовий PAVA-ап, створений за допомогою AI-білда.

00:14:34.320 --> 00:14:36.620
У початкових версіях він збирав більше персональних даних,

00:14:36.620 --> 00:14:38.460
ніж могла виправдати будь-яка організація.

00:14:38.600 --> 00:14:41.160
Імена, записи, чутливі поля – все це було відкритим.

00:14:41.320 --> 00:14:43.220
Як тільки налаштування відповідності було активовано,

00:14:43.300 --> 00:14:44.780
потік припинився, межі даних зміцніли,

00:14:44.880 --> 00:14:46.000
програма продовжувала працювати,

00:14:46.080 --> 00:14:47.580
а правила конфіденційності дотримувалися.

00:14:47.820 --> 00:14:50.120
Архітектуру не довелося руйнувати і будувати заново.

00:14:50.280 --> 00:14:52.500
Її просто узгодили, увімкнувши захисні механізми,

00:14:52.580 --> 00:14:53.900
які були там від самого початку.

00:14:54.080 --> 00:14:56.200
Для перших етапів розгортання варто застосувати

00:14:56.200 --> 00:14:58.820
ще одну практику – огороджені сади у стилі Телус.

00:14:58.940 --> 00:15:01.200
Тестуючи копілоти в ізольованому та контрольованому середовищі,

00:15:01.820 --> 00:15:04.600
ви обмежуєте будь-яку неочікувану поведінку безпечною зоною

00:15:04.600 --> 00:15:06.700
перед впровадженням у критичні бізнес-процеси.

00:15:06.840 --> 00:15:08.280
Це випробувальний майданчик зі стінами,

00:15:08.400 --> 00:15:11.100
достатньо високими, щоб помилки не просочувалися в робочі системи.

00:15:11.220 --> 00:15:12.560
Поєднайте це з надійним моніторингом,

00:15:12.620 --> 00:15:14.540
і ваша організація помітить хибні кроки ще до того,

00:15:14.640 --> 00:15:15.940
як вони потраплять у заголовки новин.

00:15:15.940 --> 00:15:18.580
Інформаційні панелі управління об'єднують усе це разом.

00:15:18.700 --> 00:15:21.760
Це не просто екрани стану, вони дають командам можливість активного нагляду.

00:15:21.900 --> 00:15:25.240
Керівники можуть запитувати, схвалювати або скасовувати результати роботи ЩІ в режимі реального часу.

00:15:25.360 --> 00:15:28.300
Це впровадження принципу «людина в контурі управління», що вбудовано в саму систему.

00:15:28.480 --> 00:15:30.760
Без такого нагляду автоматизація працює безконтрольно,

00:15:30.860 --> 00:15:32.440
поки не зіткнеться з порушенням політики.

00:15:32.440 --> 00:15:35.100
З панелями управління люди стають у диспетчерську вежу,

00:15:35.100 --> 00:15:38.700
координуючи кожну систему ЩІ, як літаки в жвавому повітряному просторі.

00:15:38.840 --> 00:15:42.100
Замість хаосу в небі ви отримуєте синхронізований, керований потік.

00:15:42.200 --> 00:15:44.040
І ось у чому полягає переломний момент.

00:15:44.220 --> 00:15:46.320
Коли організації сприймають ці системи як захист,

00:15:46.420 --> 00:15:49.380
вони перетворюються з регуляторного тягаря на мультиплікатор продуктивності.

00:15:49.520 --> 00:15:50.740
Ви уникаєте переробки.

00:15:50.920 --> 00:15:53.200
Вимиттєво надаєте регуляторам журнали, які їм потрібні.

00:15:53.360 --> 00:15:55.800
Ви рухаєтеся швидше, тому що відповідність вимогам була частиною дизайну,

00:15:55.800 --> 00:15:56.920
а не ладкою, доданою пізніше.

00:15:57.040 --> 00:15:59.520
Те, що раніше сповільнювало ваш темп, тепер його прискорює.

00:15:59.640 --> 00:16:01.400
Проте щити не працюють самі по собі.

00:16:01.560 --> 00:16:04.500
Вони потребують налаштування, перевірки та постійного моніторингу.

00:16:04.660 --> 00:16:08.080
Ці засоби контролю допомагають, але ними повинні правильно керувати люди.

00:16:08.280 --> 00:16:11.000
Ради з управління – це останній захист від хаосу.

00:16:11.120 --> 00:16:14.120
Уявіть раду з управління як екіпаж містка вашого зорельота.

00:16:14.300 --> 00:16:16.120
Це колектив, який тримає курс стабільним,

00:16:16.200 --> 00:16:18.240
коли турбулентність розхитує систему керування.

00:16:18.240 --> 00:16:22.060
Щити, перемикачі відповідності та аудиторські журнали можуть працювати у фоновому режимі,

00:16:22.120 --> 00:16:25.140
але хтось все одно має дивитися у вікно, стежити за датчиками і реагувати,

00:16:25.260 --> 00:16:26.580
коли стається щось неочікуване.

00:16:26.740 --> 00:16:31.060
Без такого нагляду навіть найкращі обмежувачі – це лише метал без розумного судження за ними.

00:16:31.260 --> 00:16:34.240
Рада з управління – це не один офіцер, який вигукує накази.

00:16:34.380 --> 00:16:37.640
Вона створена як міжфункціональна команда, що включає технічних керівників,

00:16:37.720 --> 00:16:40.540
відповідальних за управління даними, юридичних чи комплеєнс-радників,

00:16:40.540 --> 00:16:43.200
представника бізнесу та принаймні одного незалежного рецензента.

00:16:43.360 --> 00:16:47.060
Кожен відіграє свою роль, адже ще й неможливо обмежити рамками одного відділу.

00:16:47.180 --> 00:16:50.700
Інструмент перевірки резюме впливає на HR, алгоритм прогнозування – на фінанси,

00:16:50.760 --> 00:16:53.120
а чат-бот спілкується безпосередньо з вашими клієнтами.

00:16:53.240 --> 00:16:55.960
Один підрозділ не може передбачити всі наслідки самотужки.

00:16:56.120 --> 00:16:58.460
Потрібна спільна робота, щоб помітити та виправити ризики до того,

00:16:58.580 --> 00:16:59.880
як вони поширяться на інші відділи.

00:17:00.000 --> 00:17:02.360
А тепер уявіть, що ви працюєте без такої команди.

00:17:02.360 --> 00:17:06.060
Залишити щі без нагляду – це як увімкнути автопілот у полі астероїдів.

00:17:06.220 --> 00:17:09.580
Все йде добре, доки один дивний маневр не відхиляє корабель від курсу.

00:17:09.740 --> 00:17:12.140
Запобіжники можуть бути встановлені, але вони не інтерпретують,

00:17:12.220 --> 00:17:14.000
не ставлять питань і не передбачають ситуації.

00:17:14.140 --> 00:17:17.320
Рада з управління – це мислячий проширок, люди, які дивляться за межіми готливих вогнів,

00:17:17.420 --> 00:17:20.820
щоб оцінити контекст, етику та наслідки до того, як відхилення перетвориться на катастрофу.

00:17:20.820 --> 00:17:22.800
Їхні обов'язки не є абстрактними.

00:17:22.800 --> 00:17:25.480
Вони проводять регулярні аудити на упередженість і справедливість,

00:17:25.540 --> 00:17:28.600
підтверджують походження даних, переглядають звіти про відповідність і відстежують,

00:17:28.700 --> 00:17:30.400
як недетерміновані системи імпровізують.

00:17:30.500 --> 00:17:33.760
Вони встановлюють графік перевірок, щоб проблеми виявлялися на ранніх етапах,

00:17:33.860 --> 00:17:37.340
а не після запуску, і доповнюють це визначенням ключових показників ефективності,

00:17:37.440 --> 00:17:39.440
справедливості, точності та метрик відхилень,

00:17:39.440 --> 00:17:42.660
тому постійний моніторинг стає вимірюваною відповідальністю, а не з догадками.

00:17:42.660 --> 00:17:46.560
Особливо щодо недетермінованих результатів, ці ради захищають критичні межі.

00:17:46.720 --> 00:17:48.820
Ще не завжди видає однакову відповідь.

00:17:48.900 --> 00:17:51.400
Він вибирає варіанти, імпровізує, розмірковує.

00:17:51.580 --> 00:17:55.040
Це може призвести до креативних відповідей або ж до оманливих результатів,

00:17:55.140 --> 00:17:56.140
що підривають довіру.

00:17:56.300 --> 00:18:00.120
Рада з управління діє як цифровий вартовий, фіксуючи неочікувані результати,

00:18:00.120 --> 00:18:04.580
тестуючи вразливості, виявляючи небезпечні паттерни та повертаючи людей до процесу,

00:18:04.640 --> 00:18:07.000
коли автоматизовані фільтри пропускають помилки.

00:18:07.000 --> 00:18:10.980
Вони не гальмують інновації, вони утримують їх у безпечних межах.

00:18:11.100 --> 00:18:12.780
І ось у чому практична різниця.

00:18:12.940 --> 00:18:17.160
Організації з ефективними радами управління зазвичай виявляють проблеми під час тестових запусків.

00:18:17.300 --> 00:18:20.200
Аудитна справедливість виявляє упередженість у моделі найму,

00:18:20.320 --> 00:18:23.520
проблему тихо виправляють, і впровадження відбувається без скандалів.

00:18:23.520 --> 00:18:27.300
В організаціях без такого нагляду історія спочатку потрапляє в пресу.

00:18:27.440 --> 00:18:30.440
Клієнти стикаються зі шкодою, регулятори виявляють порушення,

00:18:30.440 --> 00:18:32.600
і коригувальні дії вживаються надто пізно.

00:18:32.820 --> 00:18:34.380
Запобігання коштує часу.

00:18:34.560 --> 00:18:36.260
Виправлення коштує репутації.

00:18:36.460 --> 00:18:39.420
Цей патерн повторюється достатньо часто, щоб засвоїти урок.

00:18:39.560 --> 00:18:44.700
Основою діяльності цих рад є справедливість, прозорість, підзвітність, безпека та конфіденційність.

00:18:44.880 --> 00:18:49.000
Справедливість гарантує, що результати не дискримінують користувачів за демографічними ознаками.

00:18:49.140 --> 00:18:52.800
Прозорість вимагає, щоб рішення були зрозумілими та аргументованими як для користувачів,

00:18:52.880 --> 00:18:54.180
так і для перевірок відповідності.

00:18:54.180 --> 00:18:58.720
Підзвітність забезпечує наявність визначеної ролі, яка бере на себе відповідальність не «щі це зробив»,

00:18:58.720 --> 00:19:00.920
а конкретний посадовець, який відповідає за результат.

00:19:01.060 --> 00:19:04.860
Безпека запобігає тому, щоб результати роботи системи завдавали шкоди або використовувалися неналежним чином.

00:19:05.220 --> 00:19:09.760
Конфіденційність захищає чутливі дані, щоб люди не стали випадковим вантажем у ризикованій подорожі.

00:19:09.880 --> 00:19:15.400
Кожен принцип сильний сам по собі, але разом вони формують корпус, завдяки якому відповідальний щі працює під наглядом.

00:19:15.400 --> 00:19:18.940
І ради директорів не просто підтримують принципи, вони впроваджують їх у дію.

00:19:19.100 --> 00:19:24.600
Вони перевіряють документацію моделей для підтвердження ясності, запускають процеси оцінки ризиків для класифікації варіантів використання

00:19:24.600 --> 00:19:27.360
та впроваджують контрольні точки з участю людини там, де це необхідно.

00:19:27.500 --> 00:19:33.460
Як початковий результат, однією з найпростіших і найцінніших дій є інвентаризація випадків використання щі та оцінка ризиків.

00:19:33.580 --> 00:19:39.180
Ця швидка карта показує, які проєкти є високоризиковими, які потребують суворого управління, а які мають менші ставки.

00:19:39.180 --> 00:19:43.860
Це відчутний доказ для керівництва та регуляторів, що нагляд є структурованим, а не імпровізованим.

00:19:44.020 --> 00:19:47.920
Навіть на повній швидкості засідання ради діють як регулярні сканування під час подорожі.

00:19:48.080 --> 00:19:52.460
Вони не лише визначають стратегію, а й відстежують показники та забезпечують звітність про відповідність.

00:19:52.600 --> 00:19:54.580
Така періодичність будує стійкість.

00:19:54.720 --> 00:20:02.420
Цикли тестування, KPI справедливості та огляди відхилень задають ритм, щоб постійні запобіжники залишалися активними, а не зникали після розгортання.

00:20:02.420 --> 00:20:07.180
Завдяки цим ритуалам нагляд перестає бути одноразовою галочкою і стає живим процесом.

00:20:07.340 --> 00:20:09.940
Щі для рекрутингу розповідає повчальну історію.

00:20:10.100 --> 00:20:17.180
Моделі, навчені на помилкових даних, мовчки вібрали упередження, знижуючи рейтинг кандидатів із певних груп без наміру розробників.

00:20:17.360 --> 00:20:21.640
Залишившись непоміченою, дискримінація поширилася в масштабах, поки не дійшло до судових позовів.

00:20:21.640 --> 00:20:27.400
Рада з управління, озброєна аудитами справедливості та перевірками походження даних, могла б помітити викривлення задовго до виходу в експлуатацію.

00:20:27.520 --> 00:20:31.040
Ця різниця запобігання проти виявлення є причиною існування таких рад.

00:20:31.180 --> 00:20:34.840
Отже, Ради з управління – це не другорядні проєкти і не декоративні комітети.

00:20:35.020 --> 00:20:41.380
Це останній рубіж між стабільним керівництвом і хаосом, екіпаж, якому доручено перетворити гасла відповідального щі на обґрунтовану практику.

00:20:41.380 --> 00:20:46.660
Підтримуючи структуру, показники та підзвітність, вони гарантують, що корабель рухається вперед зі збереженою довірою.

00:20:46.800 --> 00:20:48.040
І це замикає коло.

00:20:48.220 --> 00:20:53.120
Зі створенням рад нагляд стає культурою, а не латанням дірок, що підводить нас до важливішої істини.

00:20:53.520 --> 00:20:56.640
Відповідальний щі – це не додаткова функція, яку ви вмикаєте для вигляду.

00:20:56.800 --> 00:21:00.540
Це апарат безпеки, який визначає, чи переживете ви майбутню турбулентність.

00:21:00.860 --> 00:21:02.560
Відповідальний щі – не є необов'язковим.

00:21:02.560 --> 00:21:06.660
Це те, що відділяє організацію, яка контролює ситуацію, від тієї, що дрейфує в хаос.

00:21:06.820 --> 00:21:13.200
З ним ви будуєте довіру, значно зменшуєте ризики та забезпечуєте довгостроковий успіх проєктів щі замість короткочасних спалахів.

00:21:13.340 --> 00:21:14.820
Отже, ось ваш наступний крок.

00:21:14.960 --> 00:21:21.100
Проведіть інвентаризацію випадків використання щі, увімкніть захист, який уже є у вашій платформі, і створіть раду з управління для їх моніторингу.

00:21:21.260 --> 00:21:24.380
Ставтеся до цих кроків як до центру керування польотами, а не як до побічних завдань.

00:21:24.380 --> 00:21:28.940
У нотатках до випуску є контрольний список і посилання на інструменти, про які ми розповідали, щоб ви могли почати прямо зараз.

00:21:29.060 --> 00:21:33.040
Якщо цей епізод зарядив ваші делітієві кристали, налаштуйте свій подкастер на автостикування.

00:21:33.300 --> 00:21:34.560
Натисніть «Підписатися».

00:21:34.560 --> 00:21:38.140
Надсилайте свої запитання на равлик Оршоу, і наступного разу я прочитаю найкращі з них.