Chat met documenten
De volgende stap in informatieverwerking
In plaats van te vertrouwen op openbare datasets en algemene kennis, genereert "Chat met Documenten" context-specifieke antwoorden en analyses op basis van jouw vertrouwde interne bronnen. Upload jouw documenten en gebruik deze documenten als basis voor het beantwoorden van vragen in de chat!
Oplossen van gegevensbeperkingen
Als je vragen stelt aan een taalmodel ben je afhankelijk van de dataset waarmee het model is getraind. Dit is over het algemeen informatie die van het internet is gehaald. Niet-openbare bronnen staan waarschijnlijk niet in deze dataset. Door jouw documenten als bron voor de chat te gebruiken, weet je zeker dat het model over de informatie beschikt die jij nodig hebt voor het beantwoorden van jouw vragen.
Mogelijkheden met jouw documenten
Je kunt vragen stellen over jouw documenten zoals het opnoemen van de hoofdpunten van een document of het samenvatten van het document. Ook kun je specifieke analyses laten uitvoeren door het taalmodel met behulp van jouw eigen dataset.
Nadelen van documentgebaseerd chatten
Het uploaden van documenten en het verwerken hiervan zijn extra stappen die je niet hoeft te zetten als je ook zonder de context van specifieke informatie prima antwoord kunt krijgen. Ook duurt het langer om een antwoord te genereren omdat er eerst de benodigde informatie uit het document moet worden opgehaald voordat het verzoek naar het taalmodel kan worden gestuurd.
Achter de schermen van chatten met documenten
De tekst uit de documenten die jij uploadt, wordt uit het document gehaald en opgedeeld in stukken. Deze stukken hebben een vast aantal tekens (1024 tekens) en we hebben ook een overlap ingesteld (128 tekens) tussen de stukken. Elk brokje tekst wordt opgeslagen als een vector in een vector database. Bij elke vraag wordt uit deze gegevens een selectie gemaakt op basis van gelijkenis met de vraag die wordt gesteld.
Selectieproces van documentfragmenten
De stukjes tekst zijn al omgezet in vectoren. Vectoren hebben meerdere dimensies die aangeven hoe “gelijk” deze tekst is aan andere tekst. Denk aan het RGB kleurensysteem. Een kleur met een vergelijkbare RGB waarde is ook een vergelijkbare kleur maar net anders. De vector database stelt ons dus in staat om de stukken tekst gerangschikt en gefilterd op te halen op basis van de vraag die wordt gesteld. We selecteren maximaal 100 stukken tekst van 1024 tekens om mee te sturen met de vraag.
Geschikte modellen voor documentgebaseerd chatten
We hebben modellen geselecteerd met een grote context window om het mogelijk te maken om te chatten met documenten. We willen maximaal 100 stukken tekst van 1024 tekens mee kunnen sturen. Dit zijn meer dan 100,000 tekens. Modellen zoals GPT 3.5 kunnen zoveel tekst niet verwerken. Daarom raden wij aan om deze feature alleen te gebruiken in combinatie met GPT 4.0 en Gemini 1.5 Pro.
Geschikte modellen zijn Gemini Pro 1.5 en GPT 4.0.
Veiligheid van jouw documenten
Wij maken gebruik van een veilige opslag in Weaviate, een Nederlands bedrijf die een open source vector database aanbiedt. We versturen alle verzoeken van en naar deze database op een veilige manier. Ieder account op AI School krijgt een eigen tenant (gedeelte) op deze database zodat de gegevens niet gemengd zijn met die van anderen. De inhoud van de documenten blijft dus volledig vertrouwelijk en wordt niet gedeeld met derde partijen.
Selecteer een of meerdere documenten
Je kunt de bestandsmodus aanzetten door op de paperclip te klikken aan de rechterkant van de vraagbalk. Je kunt dat tot 10 bestanden kiezen om mee te chatten.
Op het moment dat je gaat chatten met documenten, wordt gecontroleerd op het taalmodel geschikt is voor chatten met documenten. Als dit niet het geval is, dan wordt automatisch GPT-4o geselecteerd.
Je chat met deze documenten zolang de bestandsmodus aanstaan.
Ondersteunde bestandstypen
AI-School ondersteunt verschillende bestandstypen voor het chatten met documenten:
- PDF bestanden uitkomend op .pdf
- Word bestanden uitkomend op .docx
- CSV bestanden uitkomend op .csv
- JSON bestanden uitkomend op .json
- Tekst bestanden uitkomend op .txt
- Audio en video bestanden met de extensies 'mp3', 'mp4', 'mpeg', 'mpga', 'm4a', 'wav' of 'webm'
Chatten met audio of video bestanden
Voor het chatten met audio of video bestanden, maakt AI-School gebruik van OpenAI's model Whisper.
Na tekst extractie halen we de tekst nog door GPT-4o om de interpunctie en spelling te checken en corrigeren.
Daarna volgt dezelfde procedure als extractie uit PDF of Word documenten.
Whisper heeft een limiet van 25 MB per audio of video bestand. Wij hanteren daarom dezelfde limiet bij het uploaden van nieuwe bestanden.