AI-детектор: як він працює і чи можна йому довіряти
Введіть у пошук «AI детектор» — і отримаєте десяток сервісів, які обіцяють одним кліком визначити, хто написав текст: людина чи машина. Викладачі перевіряють ними есе. Редактори — тексти фрилансерів. HR — супровідні листи. Обіцянка проста: вставте текст, отримайте відсоток.
Реальність складніша. AI-детектор не знає, хто написав текст, — і не може знати. Він робить припущення на основі статистичних закономірностей, і це припущення достатньо точне, щоб бути корисним, і достатньо часто помилкове, щоб створювати реальні проблеми.
Що насправді вимірює детектор
Більшість детекторів не шукають «штучний інтелект» у прямому сенсі. Вони шукають передбачуваність. Мовні моделі частіше за людину обирають найімовірніше з погляду статистики наступне слово, тому текст від ШІ зазвичай має нижчу perplexity (наскільки несподіваний вибір слів) і нижчу burstiness (наскільки варіюється довжина та структура речень). Детектор оцінює текст за цими показниками й порівнює з тим, що типово для людського письма та для машинного.
Новіші інструменти додають другий шар: класифікатори, натреновані на великих масивах відомо людських і відомо ШІ-текстів, які вчаться помічати тонші відбитки — певні перехідні фрази, надто рівний ритм абзаців, специфічну манеру уточнювати думку. Це ближче до того, як працює спам-фільтр, ніж до якогось детектора брехні.
Чому результатам не варто довіряти беззастережно
На практиці постійно виринають три проблеми.
Хибні спрацювання на людському тексті. Текст, написаний не носієм англійської, або будь-ким, хто пише короткими, простими, рівномірними реченнями, часто отримує високу оцінку «згенеровано ШІ». Те саме стосується формального, структурованого письма — такого, як у нормативних документах, технічних інструкціях чи виваженій нон-фікшн літературі. Детектор виявляє не штучний інтелект, а стиль письма, який просто збігається з тим, що зазвичай видає ШІ.
Пропущені ШІ-тексти. Текст, згенерований ШІ, а потім злегка відредагований — кілька слів замінено, порядок речень перемішано, додано особисту деталь, — регулярно проходить повз детектори непоміченим. Це не помилка, яку колись виправлять, а сама природа вимірювання: редагування руйнує саме ту статистичну закономірність, яку детектор навчений помічати.
Жоден детектор не публікує достовірну цифру точності для реальних текстів. Виробники рекламують високу точність на власних тестових наборах, але ці набори складені з нередагованого тексту від однієї моделі — а не зі змішаного, відредагованого, багаторазово переписаного тексту, який люди справді виробляють. Незалежні перевірки стабільно показують, що точність різко падає поза цими лабораторними умовами.
| У чому корисний | У чому помиляється | |
|---|---|---|
| Оцінка perplexity/burstiness | Виявляє очевидно нередагований ШІ-текст | Позначає простий, формальний або написаний не носієм людський текст |
| Натреновані класифікатори | Ловить деякі тонші патерни ШІ | Пропускає злегка відредагований ШІ-текст |
| Будь-який AI-детектор | Дає перше наближення, не вирок | Не годиться як єдина підстава для рішення |
Що це означає для малого бізнесу
Якщо ви публікуєте статті в блог, описи товарів чи рекламні тексти — байдуже, пишете самі, наймаєте фрилансера чи використовуєте ШІ для чернетки, — оцінка AI-детектора не повинна ставати основою для правил роботи. Пошукові системи прямо казали, що не занижують у видачі контент за те, що його допоміг написати ШІ; вони занижують низькоякісний контент, незалежно від того, як він створений. Оцінка детектора нічого не каже про те, чи справді текст допомагає читачеві.
Корисніше питання не «чи позначать це як написане ШІ?», а «чи справді це вирішує проблему читача, і чи точна тут інформація?». Це правда незалежно від того, чи людина набрала кожне слово, чи ШІ зробив чернетку, а людина її відредагувала.
До чого тут автоматизація, зроблена правильно
Суперечка навколо AI-детекторів насправді про довіру: чи можете ви розпізнати, що є що, і чи важливо це, якщо результат добрий? Ми дивимось на те саме питання з іншого боку — не як виявити ШІ, а як зробити так, щоб роботу, яку виконує ШІ, власник бізнесу міг довіряти не тому, що ніхто не здогадається про машину, а тому, що вона справді добре виконує свою задачу.
Саме на цьому побудовані ШІ-агенти, які створює Ataman System: не текст, що імітує людину, а система, яка записує клієнта, відповідає на питання об 11 вечора і надсилає підтвердження, — робота, яку можна перевірити за результатом, а не текст, у якому доводиться сумніватися.