Спершу безпекачому ми відмовляємось вдавати з себе медиків

Ризик, який турбував мене найбільше

Я Сергій Рогачов. Я спроектував і побудував Mommy Refuel від початку до кінця, і за понад десять років інженерної роботи найнебезпечнішим типом збою я вважаю не аварійне завершення програми чи повільний запит до бази — а систему, яка впевнено відповідає там, де не повинна відповідати взагалі. У застосунку для самопочуття мам цей тип збою має конкретну назву: вдавати з себе медичний засіб, коли ним не є, і помилятися для людини, яка вже й так вразлива.

Тому першим архітектурним рішенням для чутливих до безпеки частин Mommy Refuel було не про AI-асистента. Воно було про те, що відбувається до того, як AI взагалі отримує право щось сказати.

Чому класифікація безпеки детермінована, а не керована AI

Технічно було б простіше дозволити мовній моделі прочитати симптом чи повідомлення і самій вирішити, наскільки це серйозно. Я обрав інший шлях. Класифікація безпеки в Mommy Refuel працює через систему правил — чистий, синхронний, покритий тестами код без доступу до мережі й без жодної залежності від AI-моделі. Вона оцінює фіксовану таксономію — норма, привід для уваги, термінове, невідкладне, криза — за версійованою, читабельною для людини конфігурацією правил, а не за «чорною скринькою».

Це важливо з конкретної причини: однаковий вхід завжди дає однаковий вихід. Немає випадковості, модель не може тихо змінити своє судження між запитами, і немає способу вдалим формулюванням переконати шар безпеки понизити рівень серйозного випадку. Якщо конфігурація не завантажується або повертає щось несподіване, система побудована так, щоб схилятися до найобережнішого маршруту, а не до «норми».

Кризові й термінові ситуації ніколи не доходять до AI-моделі

Це та частина, яку я хотів би, щоб кожна мама, яка користується застосунком, розуміла чітко: якщо те, що ви описуєте, схоже на кризу — думки нашкодити собі чи комусь іншому — або на тривожний симптом на кшталт сильної кровотечі чи гарячки, застосунок не передає це AI-моделі, щоб та це пом'якшила, підсумувала чи відповіла. Детермінований фільтр перехоплює це першим, і звернення до AI просто не відбувається. Натомість ви бачите окремий, неможливий пропустити екран безпеки з реальними діями — виклик екстрених служб, звернення до довіреної людини, кризові ресурси, актуальні для вашого регіону, — а не вікно чату.

Той самий фільтр працює двічі: спочатку на вашому пристрої, потім знову на нашому бекенді, щоб баг чи модифікований клієнт не міг випадково спрямувати чутливий текст у модель. Оскільки ціна пропущеної справжньої кризи набагато вища за ціну хибної тривоги, розпізнавання свідомо налаштоване ловити більше, ніж строго потрібно, навіть якщо іноді нешкідлива фраза потрапляє на екран безпеки, який їй насправді не був потрібен. Цей компроміс — свідомий вибір.

Що AI дозволено — і не дозволено — робити тут

Коли фільтр безпеки визначає ситуацію як норму чи привід для уваги, Refuel AI може допомогти: пояснити, чому змінилась ваша оцінка, підказати, на чому зосередитись сьогодні, допомогти скласти повідомлення з проханням про допомогу, підсумувати тиждень перед візитом до лікаря. Чого він ніколи не робить — не ставить діагноз, не стверджує, що у вас є якийсь стан, не вирішує, чи це надзвичайна ситуація, і не обчислює ваш Refuel Score. Оцінка приходить до AI вже обчисленою детермінованою системою; модель може лише пояснити її звичайною мовою, але не створює і не змінює саме число.

Відповідь фільтрується перед тим, як ви її побачите, і скрізь позначена як згенерована AI. Усе, що AI пропонує як чернетку і що потенційно піде іншій людині — повідомлення про допомогу, питання для лікаря, підсумок — залишається повністю редагованим, бо мета в тому, щоб дати вам відправну точку, а не остаточний текст, написаний ніби від вашого імені.

Рекомендації перевірені, а не згенеровані вільно

Для симптомів, що не є невідкладними, застосунок показує, що ви повідомили, що може допомогти зараз і за чим варто поспостерігати, а також окрему картку медичної інформації з реальним посиланням на джерело і чіткою фразою «це не діагноз». Ці рекомендації беруться з перевіреної бібліотеки контенту, прив'язаної до конкретного симптому, а не з поради, яку AI-модель складає на льоту і яка звучить по-медичному. AI дозволено переформулювати наявний перевірений контент, якщо ви просите пояснити щось інакше — але не дозволено створювати нові медичні рекомендації.

Будь-який поріг чи формулювання, що торкається клінічного судження — що вважати тривожним симптомом, як сформульований екран кризи, які ресурси показувати для регіону — явно позначені в нашій конфігурації як такі, що потребують затвердження кваліфікованим лікарем перед виходом у продакшн. Розробники не мають права вигадувати клінічні пороги лише тому, що заглушка дозволила тестам пройти.

Чесні статуси: доступна, бета, в планах

Той самий інстинкт, що не пускає AI у кризові рішення, формує і те, як я говорю про можливості застосунку. Функція буває доступною, у бета-версії або в планах — і це позначено прямо в застосунку, а не лише в документі з дорожньою картою. Я краще покажу мамі напис «в планах» біля того, чого ми ще не побудували, ніж дам їй припустити, що можливість вже існує, бо про це натякав вдалий текст. Це маленька дисципліна, але та сама дисципліна, що й у шарі безпеки: не давати впевненості випереджати те, що реально перевірено.

Чому я вважаю це справжнім продуктом

Швидше було б випустити одне вікно чату і назвати це супутником для самопочуття. Я не пішов цим шляхом, тому що люди, які користуються цим застосунком, часто втомлені, стурбовані й приймають рішення про здоров'я — своє чи дитини — посеред ночі. Застосунок для самопочуття заслуговує на довіру, коли спершу чесно окреслює свої межі — коли скеровує складні випадки до реальної допомоги, а не до впевненого на вигляд абзацу. Все інше, включно з AI, будується поверх цієї межі, а не в обхід неї. Повнішу технічну картину можна прочитати в розділі Довіра та безпека, а повсякденний бік цього — у щоденному чек-іні.