G
Guardrails
Также известен как: Гардрейлы, AI Safeguards, Safety Filters
Этика и безопасностьОпределение
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Простое объяснение
Guardrails — как ограждения на горной дороге. Не мешают ехать, но не дают свалиться в пропасть. AI может многое, но некоторые направления заблокированы.
Подробнее
Guardrails работают на нескольких уровнях: input filtering (блокировка опасных запросов), output filtering (проверка ответов), behavioral training (RLHF/Constitutional AI), system prompts (инструкции поведения). NeMo Guardrails от NVIDIA предоставляет programmable rails. Guardrails AI — open-source фреймворк для валидации. Проблемы: false positives (блокировка легитимных запросов), обход через jailbreaks, balance между безопасностью и полезностью. Корпоративные deployment требуют кастомных guardrails под policy компании.
Связанные термины
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.
Галлюцинации AI
Генерация AI-моделью правдоподобной, но фактически неверной информации.
XAI
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Grounding
Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.