Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLM

Автор поставил собственный PII-фильтр перед облачными моделями и отказался от селф-хостед LLM.

За два месяца он протестировал RTX PRO 6000 96GB, RTX4090 48GB и даже H200, оценивая варианты для селф-хоста.

Ещё он купил RTX5070ti и V100 32GB и прогнал много бенчмарков.

В итоге выбор пал на фильтр персональных данных на своей стороне, а не на модель на своём железе.

Практическая польза простая: чтобы контролировать чувствительные данные, не обязательно поднимать LLM у себя — можно очищать запросы до отправки в облако.