Кризовий підрядник для OpenAI, Anthropic має намір боротися з екстремізмом

СІДНЕЙ, Австралія – Люди, які виявляють насильницькі екстремістські тенденції в ChatGPT, будуть перенаправлені до людської та заснованої на чат-боті підтримки з дерадикалізації через новий інструмент, що розробляється в Новій Зеландії, заявили люди, які стоять за ним.

Ініціатива є останньою спробою вирішити проблеми безпеки в умовах зростаючої кількості позовів, які звинувачують компанії ШІ в неспроможності зупинити і навіть у сприянні насильству.

OpenAI було погрожено втручанням канадського уряду в лютому після того, як з'ясувалося, що особу, яка здійснила смертельну стрілянину в школі, було заблоковано платформою без інформування влади.

ThroughLine, стартап, найнятий в останні роки власником ChatGPT OpenAI, а також конкурентами Anthropic і Google, для перенаправлення користувачів до кризової підтримки, коли вони позначені як такі, що перебувають у групі ризику самоушкодження, домашнього насильства або розладу харчової поведінки, також досліджує способи розширення своїх пропозицій, щоб включити запобігання насильницькому екстремізму, заявив її засновник і колишній молодіжний працівник Елліот Тейлор.

Компанія веде переговори з The Christchurch Call, ініціативою з викорінення онлайн-ненависті, створеною після найстрашнішої терористичної атаки Нової Зеландії у 2019 році, що передбачатиме надання антиекстремістською групою рекомендацій, поки ThroughLine розробляє інтервенційний чат-бот, заявив колишній молодіжний працівник.

"Це щось, до чого ми хотіли б рухатися і робити кращу роботу з охоплення, а потім мати можливість краще підтримувати платформи", заявив Тейлор в інтерв'ю, додавши, що часові рамки не встановлені.

OpenAI підтвердила відносини з ThroughLine, але відмовилася коментувати далі. Anthropic і Google не відповіли негайно на запити щодо коментарів.

Фірма Тейлора, яку він керує зі свого будинку в сільській Новій Зеландії, стала улюбленим вибором для компаній ШІ завдяки своїй пропозиції постійно перевіреної мережі з 1 600 гарячих ліній у 180 країнах.

Як тільки ШІ виявляє ознаки потенційної кризи психічного здоров'я, він направляє користувача до ThroughLine, яка підбирає їм доступну службу, керовану людьми, поблизу.

Але сфера дії ThroughLine була обмежена конкретними категоріями, заявив засновник. Масштаб проблем психічного здоров'я, які люди розкривають онлайн, вибухнув з популярністю чат-ботів ШІ і тепер включає флірт з екстремізмом, додав він.

Більше чат-ботів, більше проблем

Антиекстремістський інструмент, ймовірно, буде гібридною моделлю, що поєднує чат-бот, навчений реагувати на людей, які виявляють ознаки екстремізму, і направлення до реальних служб психічного здоров'я, заявив Тейлор.

"Ми не використовуємо навчальні дані базової LLM", сказав він, маючи на увазі загальні набори даних, які платформи великих мовних моделей використовують для формування зв'язного тексту. "Ми працюємо з правильними експертами". Технологія зараз тестується, але дата випуску не встановлена.

Гейлен Ламфер-Енглунд, радник з боротьби з тероризмом, який представляє The Christchurch Call, заявив, що сподівається запустити продукт для модераторів ігрових форумів і для батьків та опікунів, які хочуть викоренити екстремізм онлайн.

Інструмент перенаправлення чат-бота був "гарною і необхідною ідеєю, оскільки він визнає, що проблема полягає не тільки в контенті, але й у динаміці стосунків", заявив Генрі Фрейзер, дослідник ШІ з Квінслендського технологічного університету.

Успіх продукту може залежати від питань "наскільки хороші механізми подальшої роботи і наскільки хороші структури та відносини, в які вони направляють людей для вирішення проблеми", сказав він.

Тейлор заявив, що функції подальшої роботи, включаючи можливі сповіщення влади про небезпечних користувачів, ще мають бути визначені, але будуть враховувати будь-який ризик спровокувати ескалацію поведінки.

Він заявив, що люди в скруті схильні ділитися речами онлайн, які їм соромно сказати людині, і уряди ризикують посилити небезпеку, якщо тиснуть на платформи, щоб вони відключали користувачів, які беруть участь у делікатних розмовах.

Посилена модерація, пов'язана з войовничістю платформами під тиском правоохоронних органів, призвела до переміщення прихильників до менш регульованих альтернатив, таких як Telegram, згідно з дослідженням 2025 року Стернівського центру бізнесу та прав людини Нью-Йоркського університету.

"Якщо ви розмовляєте з ШІ і розкриваєте кризу, а він закриває розмову, ніхто не знає, що це сталося, і ця людина може все ще залишатися без підтримки", заявив Тейлор. – Rappler.com