Least agency / least privilege for AI agents

Agent-ът получава минималния набор от tools, permissions и autonomy.

Приоритет P0свързана с 5 атаки

Какво е

Agent-ът получава минималния набор от tools, permissions и autonomy.

Как работи

Дори prompt injection да успее, agent-ът няма техническа възможност да извърши опасна операция извън scope.

Мислете за AI agent като за junior service account

Не му давате Global Admin „за да е полезен“. Давате минимални tools и permissions за конкретната задача.

Пример

Calendar assistant трябва да може да чете availability и да създава meeting, но няма причина да може да export-ва mailbox или да променя IAM roles.

Защо human approval не е универсален лек

Ако интерфейсът кара човек да approve-ва 200 действия дневно, одобрението става механично. Approval gate е силен само за редки, разбираеми, high-impact actions.

Практическа имплементация

  • Read-only by default.
  • Separate tools for read/write.
  • Explicit confirmation gates.
  • Short-lived scoped credentials.
  • Transaction limits.

Какво НЕ решава

Ако малки permissions могат да се комбинират в опасна chain, рискът остава.

Предпазва най-силно от

Други в Защити за AI и LLM системи