Open AI запускає новий класифікатор для розпізнавання тексту

AI-класифікатор тексту

Open AI заявили: «Ми запускаємо класифікатор, навчений розрізняти текст, написаний ШІ, і текст, написаний людиною»

Хоча неможливо надійно виявити весь текст, написаний штучним інтелектом, вони вважають, що хороші класифікатори можуть допомогти запобігти неправдивим заявам, наприклад, запуск автоматизованих дезінформаційних кампаній, при використанні інструментів ШІ для академічної недоброчесності та позиціонування чат-бота як людини.

Касифікатор не є повністю надійним. У оцінках «набору» з англійських текстів класифікатор правильно ідентифікував 26% текстів, написаних ШІ (істинні позитивні результати), як «ймовірно, написані ШІ»

Тоді як у 9% випадків (хибні позитивні результати) він помилково позначав текст, написаний людиною, як написаний ШІ.

Надійність класифікатора зазвичай покращується зі збільшенням довжини вхідного тексту. Порівняно з попередньою версією класифікатора, цей новий класифікатор значно надійніше розпізнає текст, створений новітніми системами штучного інтелекту.

Цей класифікатор загальнодоступний, для того, щоб отримати зворотній зв'язок про те, чи корисні такі недосконалі інструменти, як цей. Робота OpenAI над розпізнаванням тексту, створеного штучним інтелектом, триватиме, і ми сподіваємося поділитися вдосконаленими методами в майбутньому.

Спробуйте класифікатор у стадії розробки самостійно

Обмеження

Класифікатор має низку важливих обмежень. Його не слід використовувати як основний інструмент для прийняття рішень, а радше як доповнення до інших методів визначення джерела тексту.

1. Класифікатор дуже ненадійний для коротких текстів (менше 1 000 символів). Навіть довші тексти класифікатор іноді неправильно маркує.

2. Іноді текст, написаний людиною, класифікатор неправильно, але впевнено позначає як написаний ШІ.

3. Рекомендується використовувати класифікатор тільки для англійського тексту. На інших мовах він працює значно гірше.

4. Текст, який є дуже передбачуваним, не може бути надійно ідентифікований. Наприклад, неможливо передбачити, хто написав список перших 1000 простих чисел — ШІ чи людина, адже правильна відповідь завжди однакова.

5. Текст, написаний ШІ, можна редагувати, щоб обійти класифікатор. Класифікатори, подібні до нашого, можуть оновлюватися та перенавчатися на основі успішних атак, але неясно, чи має таке виявлення перевагу в довгостроковій перспективі.

6. Відомо, що класифікатори на основі нейронних мереж погано калібруються поза навчальними даними. Для вхідних даних, які сильно відрізняються від тексту в нашому навчальному наборі, класифікатор іноді надзвичайно впевнено робить неправильний прогноз.

Навчання класифікатора

Класифікатор — це мовна модель, налаштована на наборі даних, що складається з пар тексту, написаного людиною, і тексту, написаного штучним інтелектом, на одну й ту саму тему.

OpenAI зібрали цей набір даних з різних джерел, які, на їх думку, були написані людиною, наприклад, дані попереднього навчання та людські демонстрації відповідей на підказки, надіслані до InstructGPT.

Вони розділили кожен текст на запитання та відповідь. На ці підказки вони згенерували відповіді за допомогою різних мовних моделей, підготовлених OpenAIта іншими організаціями.

Для веб-додатку вони налаштували поріг достовірності, щоб утримувати низький рівень помилкових спрацьовувань, іншими словами, ми класифікатор позначає текст як написаний штучним інтелектом, тільки якщо алгоритим дуже впевнений у ньому.

Вплив на освітню сферу

OpenAI визнає, що ідентифікація тексту, написаного штучним інтелектом, є важливою темою для обговорення серед викладачів, і не менш важливим є усвідомлення обмежень і впливу класифікаторів текстів, створених штучним інтелектом, на навчальний процес у класі.

Вони розробили цей ресурс для використання викладачами, щоб класифікувати текст написаний ChatGPT.

Хоча цей ресурс орієнтований на викладачів, OpenAI очікує, що наш класифікатор та пов'язані з ним інструменти матимуть вплив на журналістів, дослідників неправдивої/дезінформації та інші групи.

OpenAI співпрацює з викладачами в США, щоб дізнатися, що вони бачать у своїх класах, та обговорити можливості та обмеження ChatGPT. 

Це важливі розмови, оскільки місія OpenAI полягає в тому, щоб безпечно розгортати великі мовні моделі в безпосередньому контакті з постраждалими громадами.

‍

Переклад статті з офіційного сайту OpenAI

Автори: Ян Гендрік КіршнерЛама АхмадСкотт АаронсонЯн Лейке
Дописувачі: Майкл Лампе, Джоан Джанг, Памела Мішкін, Ендрю Мейн, Енріке Понде де Олівейра Пінто, Валері Балком, Мішель Покрасс, Джефф Белгам, Маделейн Бойд, Хізер Шмідт, Шервін Ву, Логан Кілпатрік, Томас Дегрі