Verwerking

Taalmodellen

Taalmodellen zijn geavanceerde AI-systemen die menselijke taal kunnen begrijpen, interpreteren en genereren. Deze modellen worden getraind op enorme datasets van tekst en leren patronen, woordcombinaties, zinsstructuren, en zelfs de subtiliteiten van verschillende talen en taalgebruiken. De kern van veel moderne taalmodellen is de transformer-architectuur, die gebruikmaakt van zelf-aandacht mechanismen om te bepalen welke delen van de tekst belangrijk zijn in een gegeven context.

Bij de verwerking van taal, gebruiken deze modellen statistische methoden om te voorspellen wat het meest waarschijnlijke volgende woord of de meest waarschijnlijke volgende zin in een tekst zou kunnen zijn. Ze kunnen context begrijpen over lange stukken tekst en hierdoor niet alleen grammaticaal correcte, maar ook inhoudelijk samenhangende en relevante teksten genereren.

Bij het gebruik van een taalmodel voor bijvoorbeeld een chatbot of een tekstgenerator, wordt het model bepaalde prompts of initiële data gegeven en gebaseerd op die input genereert het model tekst die logisch volgt uit de gegeven context. Het doel van deze modellen is om tekst te produceren die zo menselijk mogelijk lijkt, zowel in termen van content als stijl.

Tekst-naar-beeld modellen

Tekst-naar-beeld modellen zijn AI-systemen die in staat zijn om uit geschreven tekstuele beschrijvingen visuele representaties te genereren, zoals foto’s, illustraties of andere types beeldmateriaal. Deze modellen maken gebruik van geavanceerde neurale netwerken, en meer specifiek van generatieve adversarial netwerken (GAN's) of variaties daarop zoals diffusion modellen.

Het proces begint met een door een gebruiker ingevoerde tekstomschrijving. Het model beoordeelt deze tekst en probeert de betekenis en de context ervan te begrijpen. Vervolgens genereert het model beelden die overeenkomen met de tekstuele beschrijving, gebruik makend van wat het geleerd heeft tijdens de training, waarbij het getraind wordt op enorme datasets van tekst-beeldparen.

Tijdens de training leert het model associaties tussen tekstuele beschrijvingen en visuele kenmerken. Bijvoorbeeld, als het model herhaaldelijk de woordcombinatie 'een gele zon boven een blauwe zee' ziet samen met afbeeldingen die dit scenario illustreren, leert het deze elementen te herkennen en te reproduceren in toekomstige beeldcreaties.

Het resultaat zijn vaak verrassend accurate en detailrijke afbeeldingen die aansluiten bij de ingevoerde tekstbeschrijving. Deze modellen worden steeds verfijnder en zijn in staat om complexe scenario's met meerdere objecten en abstracte concepten weer te geven. Ze worden gebruikt in een breed scala van toepassingen, inclusief artistieke creaties, spelontwerp, virtuele realiteit en meer.

AI-School ontsluit modellen

Het is belangrijk om te beseffen dat AI-School verschillende AI modellen ontsluit die worden aangeboden door grote technologiebedrijven via een API. en API, of Application Programming Interface, is een set van regels en definities waarmee softwareprogramma’s met elkaar kunnen communiceren. Het functioneert als een soort 'taal' die door programma’s begrepen wordt om informatie uit te wisselen en functies van elkaar aan te roepen. AI-School heeft zelf geen taalmodellen of tekst-naar-beeld modellen.

Wij zijn niet verantwoordelijk voor de resultaten van de verschillende modellen. Wel hebben we aandacht besteed aan de selectie van de beste en meest interessante modellen voor scholen.

Procedure verwerking

De volgende procedure wordt gevolgd om een antwoord te genereren:

• De gebruiker maakt een prompt.
• De front-end webapplicatie koppelt dit aan de actieve chat en voeg een chatbericht toe met status "Initialiseren".
• Op de servers van AI-School wordt een functie getriggerd door het toevoegen van een chatbericht.
• De status van het chatbericht wordt gezet op "Verwerken".
• Bij selectie van chat met documenten stuurt de server eerst een verzoek naar Weaviate vector database om de teksten uit documenten te selecteren.
• De server stuurt dan het verzoek via een API koppeling naar het geselecteerde taalmodel.
• Als de instelling Streamen aanstaat,dan bewaren wij het bericht na iedere 10 ontvangen chunks en na iedere 25 chunks na het ontvangen van 100 chunks.
• Zodra het hele antwoord is ontvangen dan wordt de status op "Afgerond" gezet.
• De front-end applicatie wordt ververst na iedere database update.
• Bij geconstateerde fouten wordt de status op "Error" gezet en wordt er een foutmelding getoond.

We sturen geen persoonsgegevens mee met ieder API verzoek. Echter, de gebruiker kan persoonsgegevens hebben opgenomen in de prompt of in de geüploade documenten.