OpenAI представила Privacy Filter — открытую модель для поиска и скрытия персональных данных в тексте. Релиз опубликован 27 апреля 2026 года. Модель распространяется с открытыми весами, работает локально и предназначена для задач, где нужно автоматически находить PII — имена частных лиц, адреса, телефоны, email, номера счетов, секреты вроде API-ключей и другие чувствительные фрагменты.

Что произошло

OpenAI выпустила не очередную большую чат-модель, а узкоспециализированный инструмент для приватности. Privacy Filter анализирует текст и размечает участки, которые могут содержать персональные данные. После этого такие фрагменты можно замаскировать, удалить или заменить плейсхолдерами перед тем, как отправлять данные дальше — например, в логирование, поиск, обучение модели, аналитику или ручную проверку.

Ключевая идея простая: если компания работает с большими массивами текста, в них почти неизбежно появляются персональные данные. Это могут быть обращения в поддержку, CRM-записи, чаты, документы, тикеты, логи, выгрузки из внутренних систем. Раньше такие данные часто чистили регулярными выражениями и правилами: нашли email по шаблону — скрыли, нашли телефон — скрыли. Но реальный текст устроен сложнее.

Например, email и номер телефона действительно легко поймать регуляркой. А вот фразу вроде «вчера я был у врача на Пушкинской, 12, спросите Сергея из третьего подъезда» уже сложнее обработать правилами. Там есть адрес, имя частного лица, дата или временной ориентир, контекст, который может быть чувствительным. Обычная регулярка не понимает, что именно надо скрывать и почему.

Privacy Filter решает эту задачу как языковая модель: она смотрит не только на форму строки, но и на контекст.

Чем Privacy Filter отличается от обычных PII-фильтров

Классические системы для поиска персональных данных обычно работают на наборе правил. Они ищут заранее известные форматы:

  • email;
  • телефон;
  • паспортный или банковский номер;
  • IP-адрес;
  • номер карты;
  • дату рождения;
  • адрес по шаблону;
  • API-ключ по характерной структуре.

Это полезно, но ограничено. Такие инструменты хорошо работают на стандартизированных данных, но часто ошибаются на живом тексте. Они могут пропустить нестандартный формат или, наоборот, скрыть то, что не является приватной информацией.

OpenAI делает ставку на контекстное распознавание. Privacy Filter — это bidirectional token-classification model, то есть модель, которая смотрит на последовательность токенов и размечает каждый участок текста как относящийся или не относящийся к определённой категории приватных данных. В отличие от генеративной модели, она не пишет новый текст токен за токеном. Она проходит по входному тексту один раз и отмечает спаны — связные фрагменты, которые нужно обработать.

Это важно для продакшена: такой подход быстрее, предсказуемее и дешевле, чем прогонять каждый документ через большую универсальную LLM с промптом «найди персональные данные».

Это новая модель, а не обновление старой

У Privacy Filter нет предыдущей публичной версии, с которой можно сравнить изменения напрямую. Поэтому корректнее сравнивать её не с «Privacy Filter v1», а с тем, что обычно использовали до этого: правила, регулярные выражения, NER-модели и внешние сервисы для деидентификации.

Главные отличия такие:

  1. Открытые веса
    Модель можно скачать и запускать в своей инфраструктуре. Это критично для задач приватности: необработанные данные не нужно отправлять во внешний API.

  2. Локальный запуск
    PII можно скрывать до того, как текст покинет машину или внутренний контур компании. Это снижает риск утечки на самом первом этапе обработки.

  3. Длинный контекст
    Заявлена поддержка до 128 000 токенов. Это позволяет обрабатывать не только короткие сообщения, но и большие документы, длинные переписки, выгрузки и логи.

  4. Контекстное понимание
    Модель может учитывать окружение фразы. Это помогает отличать публичную информацию от данных частного лица.

  5. Настраиваемость
    Разработчики могут выбирать баланс между полнотой и точностью: например, агрессивнее скрывать всё подозрительное или, наоборот, меньше трогать спорные фрагменты.

  6. Возможность дообучения
    OpenAI отдельно подчёркивает, что Privacy Filter можно адаптировать под конкретный домен — медицину, финансы, юридические документы, поддержку пользователей, внутренние тикеты.

Какие данные умеет находить Privacy Filter

Модель размечает текст по восьми категориям:

  • private_person — частные лица;
  • private_address — частные адреса;
  • private_email — email-адреса;
  • private_phone — номера телефонов;
  • private_url — приватные URL;
  • private_date — приватные даты;
  • account_number — номера аккаунтов, банковские и платёжные данные;
  • secret — секреты вроде паролей и API-ключей.

Особенно интересно, что OpenAI выделяет не только классические персональные данные, но и секреты. Это делает модель полезной не только для юридической приватности, но и для безопасности разработки. Например, её можно встроить в пайплайн проверки логов или репозиториев, чтобы находить случайно попавшие ключи, токены и пароли.

Технически: как она работает

Privacy Filter построена как модель классификации токенов. В основе лежит предобученный авторегрессионный чекпойнт, который адаптировали под двунаправленную задачу разметки. Вместо головы языкового моделирования используется классификационная голова, которая назначает токенам метки из фиксированной privacy-таксономии.

После предсказаний на уровне токенов модель собирает их в связные фрагменты с помощью constrained Viterbi decoding. Это нужно, чтобы границы найденных сущностей были аккуратнее: не отдельные случайные токены, а нормальные спаны, которые можно заменить или удалить.

OpenAI указывает, что модель имеет 1,5 млрд параметров, но активными являются около 50 млн. Для практического применения это важная деталь: модель не микроскопическая, но и не гигантская. Её смысл — быть достаточно сильной для сложной приватной разметки, но при этом пригодной для массовой обработки текста.

Насколько хорошо она работает

На бенчмарке PII-Masking-300k Privacy Filter показывает F1-score 96%: precision 94,04% и recall 98,04%. На исправленной версии бенчмарка, где OpenAI учла найденные проблемы в аннотациях, результат выше: F1-score 97,43%, precision 96,79%, recall 98,08%.

Если говорить проще:

  • precision показывает, насколько часто модель права, когда что-то помечает как PII;
  • recall показывает, насколько хорошо она находит все реальные PII-фрагменты;
  • F1 — общий баланс между этими двумя метриками.

Высокий recall особенно важен для приватности. Если фильтр иногда скрывает лишнее — это неприятно, но обычно терпимо. Если он пропускает реальные персональные данные — это уже серьёзный риск.

OpenAI также утверждает, что модель хорошо адаптируется под доменные задачи. В одном из тестов дообучение на небольшом наборе данных подняло F1 с 54% до 96%. Это важный сигнал: базовая модель может быть хорошей отправной точкой, но для специфичных отраслей её всё равно стоит проверять и дообучать.

Для кого это важно

Privacy Filter в первую очередь интересен разработчикам и командам, которые работают с пользовательскими данными.

AI-команды

Если компания обучает, дообучает или индексирует модели на собственных данных, ей нужно понимать, не попадают ли в датасеты персональные данные. Privacy Filter можно использовать как предварительный слой очистки перед обучением или RAG-индексацией.

Службы поддержки

В тикетах и чатах поддержки пользователи часто пишут телефоны, адреса, email, номера заказов, банковские данные и другие чувствительные сведения. Модель можно встроить в систему обработки обращений, чтобы скрывать такие данные перед передачей аналитикам, подрядчикам или LLM-ассистентам.

Разработчики и DevOps

Категория secret делает Privacy Filter полезным для поиска ключей и токенов. Это не замена полноценным secret-scanning инструментам, но дополнительный слой защиты для логов, дампов, отчётов и внутренних документов.

Юридические, медицинские и финансовые сервисы

В этих областях риск утечки особенно высок. Но здесь же OpenAI делает важную оговорку: Privacy Filter не является юридической гарантией, сертификатом соответствия или полноценной системой анонимизации. Для чувствительных доменов всё равно нужны внутренние политики, аудит, тестирование и человеческая проверка.

Почему локальный запуск важен

Самая сильная сторона релиза — возможность запускать модель локально. В задачах приватности есть парадокс: чтобы скрыть персональные данные через внешний сервис, их сначала надо отправить этому сервису. Это не всегда допустимо.

Локальная модель решает проблему иначе: данные остаются внутри инфраструктуры, а наружу при необходимости уходит уже очищенный текст. Это особенно важно для:

  • банков;
  • медицинских сервисов;
  • юридических компаний;
  • государственных систем;
  • B2B SaaS-продуктов;
  • компаний с жёсткими требованиями к обработке данных;
  • команд, которые строят AI-функции поверх пользовательских документов.

Даже если компания потом использует внешнюю LLM, Privacy Filter может работать как предварительный фильтр: сначала очистить текст, потом отправить его в модель.

Ограничения и риски

OpenAI честно пишет, что Privacy Filter — не магическая кнопка анонимизации. Это компонент системы, а не вся система.

У модели есть несколько ограничений:

  1. Она может ошибаться
    Как и любая ML-модель, Privacy Filter может пропустить редкий идентификатор или неверно оценить контекст.

  2. Качество зависит от языка и домена
    Производительность может отличаться на разных языках, алфавитах, форматах имён, локальных адресах и профессиональных документах.

  3. Политика приватности у всех разная
    Одной компании нужно скрывать почти всё, другой — только строго определённые типы данных. Поэтому модель надо настраивать под конкретный риск-профиль.

  4. Короткий контекст может мешать
    Если дать модели одну фразу без окружения, ей сложнее понять, является ли фрагмент приватным.

  5. Для high-stakes задач нужен человек
    В медицине, праве и финансах автоматический фильтр не должен быть единственным уровнем контроля.

Как попробовать

Privacy Filter доступна на Hugging Face и GitHub под лицензией Apache 2.0. Это значит, что модель можно использовать не только для экспериментов, но и в коммерческих продуктах, если соблюдать условия лицензии.

Попробовать можно здесь:

Типичный сценарий использования выглядит так:

  1. Скачать модель и зависимости.
  2. Прогнать через неё текст, лог, документ или набор сообщений.
  3. Получить найденные PII-спаны с категориями.
  4. Заменить их на маски вроде [PRIVATE_EMAIL], [PRIVATE_PHONE], [SECRET].
  5. Передать уже очищенный текст дальше — в аналитику, поиск, LLM, хранилище или пайплайн обучения.

Если вы строите AI-сервис, Privacy Filter логично поставить перед этапами, где текст покидает доверенную зону: перед отправкой во внешний API, перед индексацией в векторную базу, перед обучением, перед выгрузкой подрядчикам или перед публикацией датасета.

Подписка ChatGPT для работы с самой моделью не требуется: это open-weight релиз. Но если вы параллельно используете продукты OpenAI — ChatGPT, API или Plus/Pro-доступ — их, как обычно, можно оплачивать официально или покупать доступ через маркетплейсы вроде plati.market, если вам подходит такой способ. Для Privacy Filter ключевое другое: модель можно развернуть у себя.

Что это значит для рынка

Релиз Privacy Filter хорошо показывает текущий тренд: не все важные AI-модели должны быть универсальными чат-ботами. Иногда ценнее маленькая, быстрая и специализированная модель, которая решает одну инфраструктурную задачу.

Для бизнеса это практичнее, чем ещё один «умный ассистент». Приватность — скучная, но критичная часть AI-стека. Если компания хочет внедрять LLM в реальные процессы, ей нужно думать не только о качестве ответов, но и о том, какие данные попадают в модель, в логи, в индексы и в обучающие наборы.

Privacy Filter закрывает именно этот слой. Она не заменяет DLP-системы, комплаенс, юридическую экспертизу или security review. Но она может стать полезным базовым инструментом: быстрым фильтром, который снижает количество персональных данных в рабочих потоках.

Итог

OpenAI Privacy Filter — важный релиз не из-за громкого consumer-продукта, а из-за практической пользы для инфраструктуры. Модель помогает находить и скрывать персональные данные в неструктурированном тексте, работает локально, поддерживает длинный контекст, имеет открытые веса и может дообучаться под конкретные задачи.

Главное отличие от старого подхода с регулярными выражениями — понимание контекста. Privacy Filter может распознавать не только очевидные email и телефоны, но и более сложные приватные фрагменты, включая адреса, имена частных лиц, номера аккаунтов и секреты.

Для команд, которые внедряют AI в продукты, это хороший кандидат на первый слой защиты данных. Не финальная гарантия приватности, но сильный и удобный компонент privacy-by-design архитектуры.

Источник

Оригинальная публикация OpenAI: https://openai.com/index/introducing-openai-privacy-filter/

Автор материала

Антон Ветров Разработка сайтов, поисковая доступность, автоматизация и эксплуатация.