🔍Perplexity выложила в открытый доступ модель для поиска и маскирования персональных данных в переписках

Модель на 600 млн параметров умеет находить имена, адреса, телефоны, почту, номера счетов и другие чувствительные данные. Она распространяется по лицензии MIT.

▶️Perplexity опубликовала на Hugging Face модель pplx-pii-masking для автоматического обнаружения и маскирования персональной информации — PII — в диалогах и других текстовых данных. ▶️В основе модели лежит 600-миллионный двунаправленный Qwen3-энкодер pplx-embed-v1-0.6b. В отличие от обычной генеративной LLM, модель анализирует текст и размечает конкретные фрагменты, содержащие чувствительные данные. ▶️Она распознаёт девять категорий PII: имена частных лиц, номера счетов, приватные ссылки, даты, адреса, email, номера телефонов, другие персональные данные и секреты — например, пароли или ключи. Отдельный классификатор определяет чувствительность разговора в целом. ▶️Например, фразу Hi, I'm Daniel Whitfield, you can reach me at daniels@meridiancap.com or 415-555-0123 модель может автоматически преобразовать в Hi, I'm [PRIVATE_PERSON], you can reach me at [PRIVATE_EMAIL] or [PRIVATE_PHONE]. ▶️Максимальная длина контекста составляет 4096 токенов. Perplexity опубликовала пример готового пайплайна, который позволяет запускать модель с PyTorch, Transformers и Safetensors. ▶️Модель распространяется под MIT License, поэтому её можно использовать и модифицировать в собственных продуктах, в том числе разворачивать в своей инфраструктуре. Это позволяет обезличивать данные до их дальнейшей обработки другими AI-моделями, не отправляя исходные персональные данные во внешние сервисы. Модель и исходные файлы — Hugging Face