Компания OpenAI сообщила о тестировании системы GPT-4 для модерации контента на своей платформе. Компания утверждает, что новая система позволяет быстрее вносить изменения в политику, оптимизировать согласованность маркировки и значительно снизить трудозатраты на модерацию.
Модерация контента является важной, но сложной задачей для цифровых платформ, которые часто полагаются на большие команды модераторов-людей, поддерживаемых моделями машинного обучения для отсеивания вредного или неприемлемого контента в конкретных нишах. Этот процесс часто отнимает много времени, является непоследовательным и психологически напряженным для модераторов.
Если недавние исследования OpenAI с использованием GPT-4 окажутся эффективными, то они предложат революционное решение. В соответствии с их методикой, после установления правил контентной политики сначала используется GPT-4 для оценки контента на соответствие этим правилам. Затем они сопоставляют человеческие суждения с решениями модели, выявляют и устраняют расхождения, проясняют двусмысленности и дорабатывают политику. OpenAI утверждает, что этот процесс, который обычно занимает месяцы, теперь может быть завершен в течение нескольких часов.
OpenAI называет три ключевых преимущества своей методологии:
- Более последовательные метки. Контентные политики постоянно развиваются и зачастую очень подробны. Люди могут по-разному интерпретировать политику, а некоторым модераторам может потребоваться больше времени, чтобы разобраться в новых изменениях политики, что приводит к появлению непоследовательных меток. В отличие от этого, LLM чувствительны к гранулярным различиям в формулировках и могут мгновенно адаптироваться к обновлениям политики, обеспечивая пользователям единообразное восприятие контента.
- Более быстрый цикл обратной связи. Цикл обновления политики – разработка новой политики, маркировка и сбор отзывов пользователей – зачастую может быть длительным и затяжным. GPT-4 позволяет сократить этот процесс до нескольких часов, что дает возможность быстрее реагировать на появление новых вредных факторов.
- Снижение психологической нагрузки. Постоянное воздействие вредного или оскорбительного контента может привести к эмоциональному истощению и психологическому стрессу модераторов. Автоматизация такого рода работы благоприятно сказывается на самочувствии всех участников процесса.
В OpenAI утверждают, что их методика превосходит подход конституционного ИИ, используемый такими компаниями, как Anthropic, который опирается на собственное внутреннее мнение модели о том, что безопасно, а что нет. Их модель сосредоточена на итерации политики для конкретной платформы, работает гораздо быстрее и требует меньше усилий.
Несмотря на то, что система является новаторской, она не безупречна. Компания признает, что в результате обучения модели в ее суждения могут быть заложены нежелательные предубеждения. Для обеспечения точности необходим постоянный мониторинг и человеческая валидация. Компания подчеркивает важность человеческого опыта, особенно при принятии решений с учетом нюансов, и намерена держать людей в поле зрения в подобных ситуациях. Кроме того, они стремятся к дальнейшему совершенствованию GPT-4, рассчитывая на интеграцию механизмов рассуждений по цепочке и самокритики.
Усилия OpenAI были предприняты после различных критических замечаний в адрес ИИ-сообщества по поводу модерации контента. В прошлом пользователи манипулировали ChatGPT для создания неприемлемого контента, который затем попадал на социальные платформы. Компания продолжает бороться с подобными методами “взлома”, чтобы сохранить целостность платформы.
Наиболее заметным спором стал репортаж о сотрудничестве OpenAI с кенийскими рабочими для маркировки оскорбительного контента. В результате этого сотрудничества работники подвергались воздействию оскорбительного контента, что привело к заявлениям о травмах.
Интеграция GPT-4 в процесс модерации контента является важной вехой в развитии возможностей ИИ”. Лилиан Венг, руководитель отдела систем безопасности OpenAI, выразила надежду на то, что этот метод будет использоваться на других платформах, подчеркнув преимущества технологии для общества.
Этот подход пока находится в стадии становления и не может сравниться с опытом опытных модераторов-людей. Однако в OpenAI полагают, что с развитием этой технологии можно будет переосмыслить модерацию контента на различных платформах, включая социальные сети и электронную коммерцию.
Компания отметила, что некоторые клиенты уже используют GPT-4 для модерации контента, но не назвала конкретных организаций.
Конечная цель – создать систему искусственного интеллекта, которая будет оценивать не только текстовый, но и графический и видеоконтент, обеспечивая тем самым комплексное решение по модерации контента.
По мере развития ИИ можно надеяться, что он станет надежным партнером в создании безопасной цифровой среды. Однако, как и любое другое технологическое достижение, он нуждается в постоянном совершенствовании, адаптации и контроле для обеспечения его эффективности и безопасности.
