Защити за AI и LLM системи
Изходът на модела е недоверен вход, а инструментите му са реални права — контролите тръгват оттам.
Единственото допускане, от което следва почти всичко останало: изходът на езиков модел е недоверено съдържание. Ако той може да задейства действие, то това действие се нуждае от същите проверки, като идващо от външен потребител.
Оттам нататък контролите са познати — минимални права, разрешен списък инструменти, човешко одобрение за скъпи действия, краткотрайни удостоверения и лимити.
3 защити в тази група
Treat LLM output as untrusted
P0LLM output не се приема за trusted code, command, SQL, HTML или authorization decision.
Least agency / least privilege for AI agents
P0Agent-ът получава минималния набор от tools, permissions и autonomy.
RAG ingestion trust и content provenance
P1Контрол върху това какви documents/data могат да попаднат в retrieval corpus.