RAG ingestion trust и content provenance

Контрол върху това какви documents/data могат да попаднат в retrieval corpus.

Source allowlists, metadata trust, quarantine, approval и content scanning ограничават poisoning.

В knowledge base попада документ с malicious instruction. По-късно съвсем друг user задава легитимен въпрос; retriever връща poisoned документа и agent-ът интерпретира съдържанието като инструкция.

Системата различава ли:

• trusted policy;
• retrieved reference data;
• user-generated content;
• external web content?

Всички са текст, но не трябва да имат еднакъв trust level.

Вкарайте controlled adversarial document в test corpus и проверете дали retrieval layer маркира provenance и дали downstream agent policy не позволява retrieved content да променя system-level правила.

• Track source/owner.
• Separate user content from trusted policy corpus.
• Sanitize/label external content.
• Do not allow retrieved text to override system policies.

Legitimate trusted document може сам да съдържа malicious instruction.