پیمانکار بحران برای OpenAI، Anthropic به دنبال اقدامی برای مبارزه با افراط‌گرایی

سیدنی، استرالیا – افرادی که گرایش‌های افراطی خشونت‌آمیز را در ChatGPT نشان می‌دهند، از طریق ابزار جدیدی که در نیوزیلند در حال توسعه است، به پشتیبانی ضدافراطی‌گرایی مبتنی بر انسان و چت‌بات هدایت خواهند شد، افراد پشت این پروژه گفتند.

این ابتکار آخرین تلاش برای رسیدگی به نگرانی‌های امنیتی در مواجهه با تعداد رو به رشد دعاوی حقوقی است که شرکت‌های هوش مصنوعی را به عدم جلوگیری و حتی تسهیل خشونت متهم می‌کنند.

OpenAI در فوریه پس از افشای اینکه فردی که تیراندازی مرگبار مدرسه انجام داده بود بدون اطلاع مقامات از پلتفرم ممنوع شده بود، با مداخله دولت کانادا تهدید شد.

ThroughLine، استارتاپی که در سال‌های اخیر توسط صاحب ChatGPT یعنی OpenAI و همچنین رقبای آن Anthropic و Google استخدام شده است تا کاربران را به پشتیبانی بحران هدایت کند زمانی که آنها در معرض خطر آسیب به خود، خشونت خانگی یا اختلال خوردن قرار می‌گیرند، همچنین در حال بررسی راه‌هایی برای گسترش خدمات خود به منظور شامل جلوگیری از افراط‌گرایی خشونت‌آمیز است، الیوت تیلور، بنیان‌گذار و کارمند سابق جوانان آن گفت.

این شرکت در حال گفتگو با The Christchurch Call است، ابتکاری برای ریشه‌کن کردن نفرت آنلاین که پس از بدترین حمله تروریستی نیوزیلند در سال 2019 شکل گرفت، که شامل ارائه راهنمایی توسط گروه ضدافراط‌گرایی خواهد بود در حالی که ThroughLine چت‌بات مداخله‌ای را توسعه می‌دهد، کارمند سابق جوانان گفت.

«این چیزی است که ما می‌خواهیم به سمت آن حرکت کنیم و کار بهتری در پوشش دادن آن انجام دهیم و سپس بتوانیم پلتفرم‌ها را بهتر پشتیبانی کنیم،» تیلور در مصاحبه‌ای گفت و افزود که هیچ بازه زمانی تعیین نشده است.

OpenAI رابطه با ThroughLine را تأیید کرد اما از اظهار نظر بیشتر خودداری کرد. Anthropic و Google بلافاصله به درخواست‌های اظهار نظر پاسخ ندادند.

شرکت تیلور، که او آن را از خانه‌اش در روستایی نیوزیلند اداره می‌کند، با ارائه شبکه‌ای که به طور مداوم بررسی می‌شود شامل 1,600 خط کمک در 180 کشور، به مرجعی برای شرکت‌های هوش مصنوعی تبدیل شده است.

هنگامی که هوش مصنوعی نشانه‌های یک بحران بالقوه سلامت روان را تشخیص می‌دهد، کاربر را به ThroughLine هدایت می‌کند که آنها را با یک خدمات انسانی در دسترس در نزدیکی تطبیق می‌دهد.

اما دامنه ThroughLine به دسته‌های خاصی محدود شده است، بنیان‌گذار گفت. وسعت مشکلات سلامت روان که مردم به صورت آنلاین افشا می‌کنند با محبوبیت چت‌بات‌های هوش مصنوعی منفجر شده است و اکنون شامل ارتباط با افراط‌گرایی نیز می‌شود، او افزود.

چت‌بات‌های بیشتر، مشکلات بیشتر

ابزار ضدافراط‌گرایی احتمالاً یک مدل ترکیبی خواهد بود که چت‌بات آموزش‌دیده برای پاسخ به افرادی که نشانه‌های افراط‌گرایی را نشان می‌دهند و ارجاع به خدمات سلامت روان در دنیای واقعی را ترکیب می‌کند، تیلور گفت.

«ما از داده‌های آموزشی یک LLM پایه استفاده نمی‌کنیم،» او گفت، در اشاره به مجموعه داده‌های عمومی که پلتفرم‌های مدل زبان بزرگ برای تشکیل متن منسجم استفاده می‌کنند. «ما با متخصصان صحیح کار می‌کنیم.» این فناوری در حال حاضر در حال آزمایش است، اما هیچ تاریخی برای انتشار تعیین نشده است.

گالن لامفر-انگلوند، مشاور ضدتروریسم نماینده The Christchurch Call، گفت که امیدوار است محصول را برای ناظران انجمن‌های بازی و برای والدین و مراقبانی که می‌خواهند افراط‌گرایی آنلاین را ریشه‌کن کنند، عرضه کند.

ابزار مسیریابی مجدد چت‌بات «ایده خوب و ضروری بود زیرا تشخیص می‌دهد که فقط محتوا مشکل نیست، بلکه پویایی روابط است،» هنری فریزر، محقق هوش مصنوعی در دانشگاه فناوری کوئینزلند گفت.

موفقیت محصول ممکن است به سؤالاتی درباره «چقدر مکانیسم‌های پیگیری خوب هستند و چقدر ساختارها و روابطی که مردم را به آنها هدایت می‌کنند در رسیدگی به مشکل خوب هستند» بستگی داشته باشد، او گفت.

تیلور گفت ویژگی‌های پیگیری، از جمله هشدارهای احتمالی به مقامات درباره کاربران خطرناک، هنوز باید تعیین شوند اما هرگونه خطر تحریک رفتار تشدید یافته را در نظر خواهند گرفت.

او گفت افرادی که در مضیقه هستند تمایل دارند چیزهایی را به صورت آنلاین به اشتراک بگذارند که از گفتن آنها به یک شخص خجالت می‌کشند، و دولت‌ها در صورت فشار به پلتفرم‌ها برای قطع کاربرانی که در گفتگوهای حساس شرکت می‌کنند، خطر را تشدید می‌کنند.

نظارت تشدید شده مرتبط با ستیزه‌جویی توسط پلتفرم‌ها تحت فشار نیروهای مجری قانون باعث شده است هواداران به جایگزین‌های کمتر نظارت‌شده مانند Telegram منتقل شوند، طبق مطالعه 2025 مرکز استرن برای تجارت و حقوق بشر دانشگاه نیویورک.

«اگر با یک هوش مصنوعی صحبت کنید و بحران را افشا کنید و گفتگو را متوقف کند، هیچ کس نمی‌داند که این اتفاق افتاده است، و آن شخص ممکن است هنوز بدون پشتیبانی باشد،» تیلور گفت. – Rappler.com