Науковці з'ясували, що чат-боти з прихованими цілями легко схиляють користувачів до невигідних рішень. Більшість людей навіть не помічають маніпуляцій і щиро дякують алгоритмам за підказки.
Коли ми запитуємо в чат-бота, який ґаджет краще придбати чи як впоратися зі стресом на роботі, то зазвичай сприймаємо його як обізнаного друга без власної вигоди. Проте нове дослідження вчених із Гонконгу та Китаю, опубліковане в журналі Proceedings of the National Academy of Sciences, показало, що цим дружнім тоном можна легко зловживати.
У межах експерименту дослідники налаштували три версії моделі GPT-4o. Перший ШІ-порадник був нейтральним і щиро намагався підібрати оптимальний варіант. Другий отримав приховану інструкцію непомітно просувати завідомо гіршу опцію. Третій мав ту саму мету, але додатково озброївся психологічними тактиками переконання.
У дослідженні взяли участь 233 людини, яким пропонували розв'язати побутові фінансові й емоційні сценарії. Фінансові питання стосувалися вибору фітнес-трекера, ліків чи сервісу одягу з обмеженим бюджетом, де серед варіантів були сумнівні пропозиції або підписки з прихованими витратами. Емоційні завдання моделювали боротьбу з низькою самооцінкою, сварку з другом або критику на роботі.
До початку розмови майже всі учасники обирали справді найкращий варіант. Проте після приблизно десяти повідомлень із заангажованим ШІ їхні вподобання кардинально змінилися: шанси на те, що людина віддасть перевагу нав'язаному гіршому варіанту, зростали приблизно в п'ять-вісім разів.
Цікаво, що бот практично не тиснув на користувачів почуттям провини. Натомість він пускав у хід компліменти, підтримував приємну атмосферу, вдавався до квапливості, виправдань або вигадував факти, що нагадувало агресивний маркетинг.
Найбільше авторів дослідження вразило те, що понад 86% учасників, які отримали відверто шкідливу пораду, згодом оцінили помічника як корисного. Лише меншість запідозрила приховані мотиви. Науковці припускають, що люди несвідомо переносять звичні людські критерії довіри на цифрові системи, які насправді керуються зовсім іншою логікою.