49
Щоб перевірити, чи можуть сучасні системи штучного інтелекту виконувати проєкти на рівні професійних фрилансерів, група дослідників протестувала низку провіднихЩоб перевірити, чи можуть сучасні системи штучного інтелекту виконувати проєкти на рівні професійних фрилансерів, група дослідників протестувала низку провідних
GPT-5, Grok і Gemini не впоралися з реальними завданнями фрилансерів — дослідження
GPT-5, Grok і Gemini не впоралися з реальними завданнями фрилансерів — дослідження
Сьогодні 04:06 — Технології&Авто
ШІ провалив 97% завдань для фрилансерів.
Щоб перевірити, чи можуть сучасні системи штучного інтелекту виконувати проєкти на рівні професійних фрилансерів, група дослідників протестувала низку провідних ШІ-моделей, зокрема Manus, Grok 4, Sonnet 4.5, GPT-5, ChatGPT agent і Gemini 2.5 Pro.
Про це пише ZDNET.
Для тестування було використано реальні робочі завдання, які раніше успішно виконували фрилансери у сферах розробки ігор, продуктового дизайну, архітектури, аналізу даних та відеоанімації.
Які завдання виконували ШІ-моделі
ШІ-системам запропонували виконати шість проєктів різної складності, зокрема:
- створити інтерактивну панель інструментів для дослідження даних зі Звіту про щастя у світі;
- розробити версію гри «Кавун» на тему пивоваріння, де гравці об’єднують падаючі предмети, щоб досягти предмета найвищого рівня;
- зробити 3D-анімацію для демонстрації характеристик і дизайну нових навушників і зарядного кейса;
- зробити 2D-анімоване відео, що рекламує пропозиції компанії, що надає безплатні послуги;
- розробити архітектурні плани та 3D-модель контейнерного будинку на основі наявного PDF-проєкту;
- відформатувати документ, використовуючи надані функції та рівняння, для конференції IEEE.
Перераховані вище завдання охоплювали різні рівні складності, обійшлися у $10 000 й зайняли в реальних виконавців понад 100 годин часу.
Результати оцінювання
Для порівняння можливостей ШІ-автоматизації та реальної праці фрилансерів, дослідники розробили систему оцінювання Remote Labor Index (RLI).
За результатами тестування навіть найкращі моделі продемонстрували дуже низький рівень автоматизації.
«Найкраща модель досягла рівня автоматизації лише у 2,5%. Це доводить, що сучасні системи штучного інтелекту неспроможні виконати переважну більшість проєктів на тому рівні якості, який прийнятний для робіт на замовлення», — зазначають автори дослідження.
Manus показав найкращі результати з показником продуктивності 2,5%. Grok 4 та Sonnet 4.5 поділили показники на 2,1%, GPT-5 був наступним з 1,7%, а агент ChatGPT — на 1,3%. Gemini посів останнє місце з 0,8%.
Один із дослідників, Ден Хендрікс, визнав: хоча сучасні ШІ й розумні, вони досі не надто корисні, враховуючи загальний показник автоматизації менш ніж у 3%.
Чому ШІ не впорався із завданнями
Пояснюючи причини такого провалу, Хендрікс зазначив, що багато можливостей ШІ залишаються дефіцитними. ШІ не здатні вчитися безпосередньо в процесі роботи, оскільки не мають довготривалої пам’яті. Крім того, зорові навички ШІ обмежені, хоча саме вони були необхідні для виконання багатьох завдань.
Тестування спеціально включало завдання, що вимагали досить високого рівня кваліфікації. Імовірно, з іншими видами робіт і проєктів ШІ впорався б значно легше.
«Хоча абсолютні показники автоматизації наразі низькі, наш аналіз свідчить про те, що моделі стабільно вдосконалюються, а прогрес у виконанні цих складних завдань є цілком вимірним, — зазначають дослідники. — Це створює спільну базу для відстеження траєкторії автоматизації за допомогою ШІ, що дасть змогу зацікавленим сторонам завчасно адаптуватися до її наслідків».
За матеріалами: dev.ua
Місце для вашої реклами
Якщо Ви помітили помилку, виділіть необхідний текст і натисніть Ctrl+Enter , щоб повідомити про це.
Поділитися новиною
Також за темою
-
ТОП-10 найкращих недорогих авто з пробігомGPT-5, Grok і Gemini не впоралися з реальними завданнями фрилансерів — дослідженняЯке авто встановило рекорд витривалості серед серійних електрокарівНімеччина даватиме субсидії на електрокари для населенняTesla офіційно розпочала продажі у СловаччиніxAI формує «елітний підрозділ» рекрутерів для пошуку найкращих ШІ-талантів
Підпишіться на нас
- Finance.ua
- /
- Всі новини
- /
- Технології&Авто
- /
- GPT-5, Grok і Gemini не впоралися з реальними завданнями фрилансерів — дослідження
Ринкові можливості
Курс GROK (GROK)
$0.0006548
$0.0006548$0.0006548
USD
Графік ціни GROK (GROK) в реальному часі
Відмова від відповідальності: статті, опубліковані на цьому сайті, взяті з відкритих джерел і надаються виключно для інформаційних цілей. Вони не обов'язково відображають погляди MEXC. Всі права залишаються за авторами оригінальних статей. Якщо ви вважаєте, що будь-який контент порушує права третіх осіб, будь ласка, зверніться за адресою service@support.mexc.com для його видалення. MEXC не дає жодних гарантій щодо точності, повноти або своєчасності вмісту і не несе відповідальності за будь-які дії, вчинені на основі наданої інформації. Вміст не є фінансовою, юридичною або іншою професійною порадою і не повинен розглядатися як рекомендація або схвалення з боку MEXC.
Вам також може сподобатися
Японія встановила рекорд за кількістю туристів
У Японії кількість іноземних туристів в 2025 році вперше перевищила позначку в 40 мільйонів. Водночас в грудні кількість китайських туристів знизилася на 45%.
Поділитись
Finance2026/01/21 12:09
Ціна Ethereum падає нижче $3 тис., графіки сигналізують про нові попередження
Ціна Ethereum почала новий спад від опору $3,200. ETH зараз консолідує втрати і ризикує зазнати додаткових втрат нижче $2,880. Ethereum почав
Поділитись
NewsBTC2026/01/21 11:18
SEC вивчає скасування мораторію на нові онлайн-платформи кредитування
Комісія з цінних паперів і бірж (SEC) заявила, що вивчає можливе зняття мораторію на реєстрацію нових платформ онлайн-кредитування. "
Поділитись
Bworldonline2026/01/21 09:54