production AI judgment
RAG w firmie: kiedy działa, kiedy jest teatrem
To nie jest porada prawna. To memo decyzyjne o systemach, danych, ryzyku wdrożeniowym i pytaniach, które warto zabrać do zarządu, prawnika albo dostawcy.
Krótka odpowiedź
RAG działa wtedy, gdy retrieval pobiera właściwe źródła, użytkownik widzi granice odpowiedzi, a organizacja mierzy jakość, uprawnienia, retencję i błędy. RAG jest teatrem, gdy chatbot efektownie cytuje dokumenty, ale nikt nie wie, czy znalazł właściwy fragment, czy wolno go użyć i kto odpowiada za decyzję.
Nie należy mówić, że RAG eliminuje halucynacje albo rozwiązuje compliance. RAG może zmniejszyć część ryzyk, ale nie usuwa potrzeby evals, permissioningu, monitoringu, human review i jasnych granic systemu.
Kiedy to ma znaczenie
Ten test jest ważny przy knowledge base, dokumentach prawnych, ofertach, procedurach, umowach, due diligence, support knowledge i wewnętrznych asystentach. Im bardziej odpowiedź wpływa na decyzję, tym mniej wystarcza “ma cytaty”.
Test decyzyjny
| Warstwa RAG | Pytanie zarządu | Dowód, który odróżnia system od demo |
|---|---|---|
| Źródła | Czy system szuka w aktualnych i dozwolonych dokumentach? | Lista źródeł, wersje, permissioning, retencja. |
| Retrieval | Czy znajduje właściwy fragment dla trudnych pytań? | Zestaw testowy, precision/recall, przykłady porażek. |
| Odpowiedź | Czy użytkownik widzi pewność, ograniczenia i cytaty? | UI review, źródła, disclaimery, tryb “nie wiem”. |
| Operacje | Czy ktoś monitoruje drift, koszt i incydenty? | Evals cykliczne, logi, owner, alerty, fallback. |
Dowody do zebrania
- Lista źródeł, wersji dokumentów i reguł dostępu.
- Zestaw pytań testowych z odpowiedziami referencyjnymi.
- Przykłady pytań, na które system powinien odmówić albo powiedzieć “nie wiem”.
- Metryki retrieval i odpowiedzi, oddzielone od wrażeń z demo.
- Monitoring kosztów, latency, błędów, zmian dokumentów i jakości outputu.
- Decyzja, kiedy odpowiedź wymaga human review.
Czerwone flagi
- Jedynym testem jest rozmowa z chatbotem podczas demo.
- Cytaty są obecne, ale użytkownik nie widzi wersji dokumentu ani daty.
- System ma dostęp do dokumentów, których użytkownik nie powinien widzieć.
- Nie ma pytań negatywnych, edge cases i przypadków odmowy.
- RAG jest sprzedawany jako gotowy produkt, choć wymaga ciągłego utrzymania źródeł.
Czego nie wyciągać jako wniosku
RAG nie jest automatycznie przewagą konkurencyjną. Często jest tylko warstwą dostępu do wiedzy. Przewaga pojawia się dopiero wtedy, gdy firma ma unikalne źródła, dobry proces aktualizacji, mierzalną jakość i odpowiedzialność za użycie odpowiedzi.