Afstudeeropdracht Verbeteren van Data Retrieval in Retrieval-Augmented Generation (RAG)

Vind jij het interessant om inzicht te krijgen in hoe data retrieval binnen moderne AI-systemen verbeterd kan worden en ben jij op zoek naar een toffe afstudeeropdracht? Lees dan gauw verder!
Tijdens deze opdracht bij Team Expert Services ga jij aan de slag met het verbeteren van de retrieval-component in Retrieval-Augmented Generation (RAG) systemen. Dit doe je door het onderzoeken van nieuwe technieken en het implementeren van een proof of concept.

De opdracht.

Tijdens deze opdracht onderzoek je hoe we de data retrieval binnen een RAG-systeem kunnen verbeteren. RAG combineert het opvragen van relevante documenten met het genereren van tekst, maar de retrieval-fase levert niet altijd relevante informatie op. Dit probleem komt vooral voor bij systemen met grote, ongestructureerde datasets. Jij gaat aan de slag om dit probleem aan te pakken.

De opdracht bestaat uit twee delen:

Het eerste deel van de opdracht bestaat uit een onderzoek. Tijdens je onderzoek analyseer je de huidige technieken die worden gebruikt voor data retrieval binnen RAG-systemen. Je gaat dieper in op methoden om de kwaliteit van de opgehaalde documenten te verbeteren, zoals het implementeren van betere zoekalgoritmen, het gebruik van vector databases en het optimaliseren van document embeddings. Daarnaast bepaal je welke factoren de prestaties van de retrieval beïnvloeden, zoals de omvang van de dataset, het type data (gestructureerd of ongestructureerd) en de toegepaste technieken. Op basis van deze inzichten formuleer je aanbevelingen voor verbetering, waarmee je een waardevolle bijdrage levert aan de optimalisatie van het systeem.

Tijdens het tweede deel van de opdracht maak je een proof of concept. In het kader van de proof of concept ga je een verbeterde data retrieval-component implementeren in een bestaand RAG-systeem. Na de implementatie test je deze component met verschillende datasets om de verbeteringen in retrieval-prestaties te meten. Uiteindelijk lever je zowel documentatie als een demo op van de proof of concept, waarmee je de resultaten en functionaliteiten van je implementatie kunt presenteren.

Jij wilt een kei worden in.

• Machine Learning
• Natural Language Processing (NLP)
• Verbeteren van data retrieval-technieken

Jouw profiel.

Voor deze opdracht is het fijn als je de volgende basis hebt:

• Je volgt (minimaal) een HBO-opleiding richting Informatica, Software Development of vergelijkbaar.
• Interesse in of kennis van Machine Learning en Natural Language Processing (NLP).
• Bekendheid met programmeertalen zoals Python en Kotlin en kennis van frameworks zoals LangChain en Transformers is een pré.

Jouw team.

Team Expert Services bestaat uit zeven collega’s. Ons team oriënteert zich op de nieuwste technologieën binnen AI en NLP. Zoek jij een gezellig team waarbij we regelmatig na het werk iets leuks met elkaar organiseren? Of het nu een DnD-avond is, een biertje drinken of samen hardlopen, we vinden het gezellig om af en toe wat samen te ondernemen. Ben je enthousiast geworden? Solliciteer dan nu!

Gepubliceerd op 04-10-2024