ChatGPT начнет незаметно помечать свои тексты

OpenAI начнет добавлять невидимый водяной знак в часть текстов, созданных ChatGPT и Codex. Новая технология называется textGrain и должна помочь определять происхождение контента, созданного искусственным интеллектом. О запуске системы компания объявила 5 октября.

Главная деталь состоит в том, что речь пока не идет обо всех пользователях ChatGPT. В ближайшие недели маркировка начнет применяться к подходящим текстовым ответам ChatGPT и Codex в странах Европейского союза. Решение связано с требованиями европейского законодательства об искусственном интеллекте.

В тексте не появятся скрытые символы

Название «водяной знак» может создать впечатление, что ChatGPT будет вставлять в текст невидимые пробелы, специальные символы или необычные знаки препинания. На самом деле технология работает иначе.

textGrain слегка меняет то, как модель выбирает слова и отдельные части слов во время генерации ответа. В результате в достаточно длинном тексте возникает статистический паттерн, который может распознать специальный детектор.

Для человека такой текст выглядит совершенно обычно. OpenAI отдельно подчеркивает, что система не добавляет скрытые символы, дополнительные токены или видимые отметки.

Простое копирование текста метку не уберет

Поскольку сигнал создается непосредственно за счет выбора слов, он может сохраняться после обычного копирования текста из ChatGPT в документ, сообщение или на сайт.

Однако технология не является неуязвимой. OpenAI признает, что серьезное редактирование, существенное перефразирование или перевод на другой язык способны ослабить водяной знак настолько, что обнаружить его станет сложно или невозможно.

Особенно плохо такая система подходит для очень коротких ответов. Чем меньше текста, тем меньше данных для надежного определения скрытого статистического паттерна.

Код тоже имеет исключения

С кодом ситуация еще сложнее. У программного кода обычно гораздо меньше допустимых вариантов продолжения, чем у обычного человеческого текста. Из-за этого надежно встроить статистическую метку значительно труднее.

OpenAI указывает, что европейские требования не распространяют обязательную маркировку на фрагменты кода и тексты короче 200 токенов, что примерно соответствует 150 английским словам.

Поэтому утверждение, что теперь любой код, написанный Codex, обязательно будет содержать невидимый водяной знак, было бы слишком широким.

Затронет ли новая система пользователей в Казахстане

Обязательное внедрение textGrain OpenAI сейчас анонсировала именно для подходящих текстовых ответов ChatGPT и Codex в Европейском союзе.

О принудительном включении такой маркировки для пользователей ChatGPT в Казахстане компания не объявляла.

Отдельная ситуация существует с OpenAI API, которым пользуются разработчики и различные интернет-сервисы. С 5 октября клиенты API по всему миру могут самостоятельно включить водяные знаки для поддерживаемых моделей, но по умолчанию эта функция отключена.

Проверить любой текст через сайт пока нельзя

У OpenAI уже существует публичная система проверки происхождения изображений и аудио. С текстами подход другой.

Доступ к детектору textGrain на первом этапе компания планирует предоставлять только одобренным исследователям и экспертным организациям. Открытого сервиса, куда любой пользователь сможет вставить текст и проверить его на наличие водяного знака ChatGPT, сейчас нет.

При этом обнаруженная метка сама по себе не доказывает авторство текста. Она лишь указывает на вероятность того, что материал был создан или обработан моделью OpenAI. По водяному знаку также нельзя определить, какую часть текста написал человек, кому принадлежит материал или с каким запросом пользователь обращался к ИИ.

OpenAI рассматривает textGrain как один из способов сделать происхождение контента более прозрачным. Компания также предупреждает, что технологии определения ИИ-текстов пока имеют ограничения и не должны восприниматься как абсолютное доказательство того, кто написал конкретный материал.