Ein Wissensagent ist so gut wie die Fragen, mit denen Sie ihn prüfen. Die meisten Projekte drehen das um: Erst wird der Agent gebaut, dann wird ein bisschen herumgefragt, und wenn die ersten Antworten gut klingen, geht er live. Das Problem zeigt sich drei Wochen später, wenn er eine veraltete Preisliste zitiert.
Das Wichtigste in Kürze
- Copilot Studio bietet zwei Wege: SharePoint live über Microsoft Graph oder SharePoint-Upload nach Dataverse. Welcher passt, ist vor allem eine Lizenzfrage.
- Beide Varianten haben in unserem Test alle 11 Stichprobenfragen richtig beantwortet, inklusive Scan ohne Textebene und Versionskonflikt.
- Der Upload-Weg indiziert höchstens 1.000 Dateien je Quelle, der Live-Weg erlaubt höchstens 25 SharePoint-Adressen je Agent.
Das Problem
Richtlinien, Preislisten, technische Unterlagen, Prozessbeschreibungen: In vielen Unternehmen liegen Hunderte PDFs in SharePoint. Wer eine Antwort braucht, sucht, fragt eine Kollegin oder nimmt die Version, die er zuerst findet. Alte und neue Fassungen widersprechen sich, und niemand merkt es.
Zwei Wege in Copilot Studio
Wir haben einen Agenten in Copilot Studio gebaut, der nur aus den Dokumenten antwortet und die Quelle nennt. Und zwar zweimal, mit identischen Anweisungen:
- SharePoint live: Der Agent sucht direkt in SharePoint über Microsoft Graph. Neue Dokumente sind sofort dabei, die Berechtigungen der Nutzenden gelten automatisch.
- SharePoint-Upload: Die Dateien werden nach Dataverse kopiert und dort indiziert. Das kostet laut Microsoft für Nutzende ohne Copilot-Lizenz deutlich weniger pro Antwort, aktualisiert sich aber nur alle paar Stunden.
Beide Agenten laufen in Teams. Die Entscheidung zwischen ihnen ist keine technische, sondern eine Lizenzfrage: Haben die meisten Fragenden eine Microsoft-365-Copilot-Lizenz, ist der Live-Weg die bessere Wahl. Fragen viele ohne Lizenz, spart der Upload-Weg Credits.
Im Überblick:
- Aktualität: live sofort, Upload alle paar Stunden
- Berechtigungen: live automatisch, beim Upload die Ordnerauswahl prüfen
- Grenze: live 25 SharePoint-Adressen je Agent, Upload 1.000 Dateien je Quelle
- Passt, wenn: live, wenn die meisten eine Copilot-Lizenz haben; Upload, wenn viele ohne Lizenz fragen
Der Test: elf Fragen mit eingebauten Fallen
Unser Testbestand: 18 fiktive PDFs eines Maschinenbauers, mit Absicht unordentlich. Dazu gehörten:
- ein Versionskonflikt: zwei Preislisten, alt und neu
- ein Scan ohne Textebene: ein Dokument, das nur als Bild vorliegt
- eine Rechenfrage über zwei Dokumente: Rabatt aus der Richtlinie auf einen Preis aus der Preisliste
- Fragen außerhalb des Themas, auf die der Agent nicht antworten soll
Beide Varianten haben alle 11 Stichprobenfragen richtig beantwortet, inklusive Scan und Versionskonflikt. Für den laufenden Betrieb gibt es ein Golden Set mit 32 Fragen und erwarteter Antwort. Das läuft nach jeder Änderung an Dokumenten oder Anweisungen erneut.
Was dabei aufgefallen ist
- Fragen außerhalb des Themas landeten nicht im festgelegten Ablehnungssatz, sondern in der Standardantwort von Copilot Studio. Das Fallback-Thema muss man selbst anpassen.
- Fragen nach Dateinamen und Anzahlen hat der Agent im Test beantwortet, obwohl Microsoft das als nicht unterstützt dokumentiert. Bei großen Beständen sollten Sie sich darauf nicht verlassen.
- Nach dem Löschen doppelter Quellen war der Index der Upload-Variante leer, obwohl alles auf „Bereit“ stand. Geholfen hat nur, alle Quellen neu anzulegen.
Und bei 5.000 PDFs?
Hier zeigen sich die Grenzen, die in keiner Demo vorkommen. Die Upload-Variante indiziert höchstens 1.000 Dateien je Quelle, Überzähliges wird stillschweigend ignoriert. Für 5.000 PDFs brauchen Sie also mindestens fünf sauber getrennte Ordner. Der Live-Weg hat keine dokumentierte Dateigrenze, erlaubt aber höchstens 25 SharePoint-Adressen je Agent. Wer volle Kontrolle über Suche und Texterkennung braucht, landet bei einem eigenen Suchindex, etwa Azure AI Search, oder bei einer eigenen Lösung wie ProduktBrain für Produktdaten.
Vom Use Case zur eigenen Lösung
Der Wissensagent ist der Use Case, den fast alle Teilnehmenden unserer Weiterbildung zum KI-Projektkoordinator (m/w/d) zuerst bauen wollen. Wir starten trotzdem mit dem Golden Set, nicht mit dem Agenten. Die Weiterbildung ist AZAV-zugelassen und über das Qualifizierungschancengesetz förderfähig. Betriebe mit weniger als 50 Beschäftigten können bis zu 100 % der Lehrgangskosten erstattet bekommen. Mehr unter Geförderte Weiterbildung und zu unserem Training Microsoft Copilot & Copilot Studio.
Häufige Fragen
Sieht der Agent Dokumente, auf die ich keinen Zugriff habe? Beim Live-Weg nicht: Es gelten die SharePoint-Berechtigungen der fragenden Person. Beim Upload-Weg sollten Sie genau prüfen, welche Ordner Sie freigeben.
Wie viele Testfragen brauche ich? Für den Start 20 bis 30, mit Fallen wie Versionskonflikten und Fragen außerhalb des Themas. Wichtiger als die Zahl ist, dass jede Frage eine eindeutige erwartete Antwort hat.
Kann der Agent auch gescannte Dokumente lesen? In unserem Test ja, beide Varianten. Prüfen Sie es trotzdem mit Ihren eigenen Scans im Golden Set.
Weiterlesen: 8 KI-Use-Cases aus der Praxis · Lieferzeiten mit KI auswerten
Sie wollen Ihr Firmenwissen fragbar machen, aber richtig? Buchen Sie ein 15-minütiges Erstgespräch.