Wykonawca kryzysowy dla OpenAI, Anthropic rozważa działania w walce z ekstremizmem

SYDNEY, Australia – Osoby wykazujące tendencje do brutalnego ekstremizmu na ChatGPT będą kierowane do wsparcia deradykalizacyjnego opartego na ludziach i chatbotach za pomocą nowego narzędzia rozwijanego w Nowej Zelandii, powiedzieli jego twórcy.

Inicjatywa jest najnowszą próbą rozwiązania obaw dotyczących bezpieczeństwa w obliczu rosnącej liczby pozwów oskarżających firmy AI o niepowstrzymanie, a nawet umożliwienie przemocy.

OpenAI został zagrożony interwencją przez rząd Kanady w lutym po ujawnieniu, że osoba, która przeprowadziła śmiertelną strzelaninę w szkole, została zablokowana przez platformę bez poinformowania władz.

ThroughLine, startup zatrudniony w ostatnich latach przez właściciela ChatGPT, OpenAI, a także rywali Anthropic i Google, w celu przekierowywania użytkowników do wsparcia kryzysowego, gdy są oznaczeni jako narażeni na ryzyko samookaleczenia, przemocy domowej lub zaburzeń odżywiania, również bada sposoby na rozszerzenie swojej oferty o zapobieganie brutalnemu ekstremizmowi, powiedział jego założyciel i były pracownik młodzieżowy Elliot Taylor.

Firma prowadzi rozmowy z The Christchurch Call, inicjatywą mającą na celu wyeliminowanie nienawiści w internecie, utworzoną po najgorszym ataku terrorystycznym w Nowej Zelandii w 2019 roku, która obejmowałaby grupę antyekstremistyczną udzielającą wskazówek, podczas gdy ThroughLine opracowuje chatbota interwencyjnego, powiedział były pracownik młodzieżowy.

„To coś, ku czemu chcielibyśmy zmierzać i robić to lepiej, a następnie móc lepiej wspierać platformy," powiedział Taylor w wywiadzie, dodając, że nie ustalono ram czasowych.

OpenAI potwierdził współpracę z ThroughLine, ale odmówił dalszych komentarzy. Anthropic i Google nie odpowiedzieli natychmiast na prośby o komentarz.

Firma Taylora, którą prowadzi ze swojego domu na wiejskich terenach Nowej Zelandii, stała się miejscem dla firm AI dzięki swojej ofercie stale sprawdzanej sieci 1 600 linii pomocowych w 180 krajach.

Gdy AI wykryje oznaki potencjalnego kryzysu zdrowia psychicznego, kieruje użytkownika do ThroughLine, który łączy go z dostępną usługą prowadzoną przez ludzi w pobliżu.

Ale zakres ThroughLine był ograniczony do określonych kategorii, powiedział założyciel. Skala problemów ze zdrowiem psychicznym, które ludzie ujawniają online, eksplodowała wraz z popularnością chatbotów AI i obejmuje teraz flirty z ekstremizmem, dodał.

Więcej chatbotów, więcej problemów

Narzędzie antyekstremistyczne byłoby prawdopodobnie modelem hybrydowym łączącym chatbota wyszkolonego do reagowania na osoby wykazujące oznaki ekstremizmu i skierowania do rzeczywistych usług zdrowia psychicznego, powiedział Taylor.

„Nie używamy danych treningowych bazowego LLM," powiedział, nawiązując do ogólnych zestawów danych używanych przez platformy dużych modeli językowych do tworzenia spójnego tekstu. „Pracujemy z odpowiednimi ekspertami." Technologia jest obecnie testowana, ale nie ustalono daty wydania.

Galen Lamphere-Englund, doradca ds. kontrterroryzmu reprezentujący The Christchurch Call, powiedział, że ma nadzieję wprowadzić produkt dla moderatorów forów gamingowych oraz dla rodziców i opiekunów, którzy chcą wyeliminować ekstremizm w internecie.

Narzędzie do przekierowywania chatbota to „dobry i konieczny pomysł, ponieważ uznaje, że problemem nie jest tylko treść, ale dynamika relacji," powiedział Henry Fraser, badacz AI z Queensland University of Technology.

Sukces produktu może zależeć od pytań o to, „jak dobre są mechanizmy kontrolne i jak dobre są struktury i relacje, do których kierują ludzi, w rozwiązywaniu problemu," powiedział.

Taylor powiedział, że funkcje kontrolne, w tym możliwe powiadomienia dla władz o niebezpiecznych użytkownikach, wciąż mają zostać ustalone, ale będą uwzględniać wszelkie ryzyko wywołania eskalacji zachowania.

Powiedział, że ludzie w trudnej sytuacji mają tendencję do dzielenia się rzeczami online, których wstydzą się powiedzieć osobie, a rządy ryzykują nasilenie niebezpieczeństwa, jeśli naciskają na platformy, aby odcinały użytkowników angażujących się w wrażliwe rozmowy.

Wzmożona moderacja związana z bojowością platform pod presją organów ścigania spowodowała, że sympatycy przechodzą do mniej regulowanych alternatyw, takich jak Telegram, zgodnie z badaniem z 2025 roku przeprowadzonym przez Stern Center for Business and Human Rights Uniwersytetu Nowojorskiego.

„Jeśli rozmawiasz z AI i ujawniasz kryzys, a on zamyka rozmowę, nikt nie wie, że to się wydarzyło, a ta osoba może nadal być bez wsparcia," powiedział Taylor. – Rappler.com