AILab Howest

Reachy Mini is een open-source robot die perfect op je bureau past en je meteen charmeert door zijn speelse uitstraling. In tegenstelling tot industriële robots is hij niet ontworpen voor automatisatie, maar om de interactie tussen mens en robot te versterken. Je kan hem eenvoudig programmeren om je te helpen met kleine taken of interactieve ervaringen.

Door de groeiende community rond Reachy en Reachy Mini ontstaan er in sneltempo nieuwe toepassingen. Zo kan de robot helpen bij het aanleren van een taal aan kinderen, informatie geven over sterrenstelsels, of zelfs dienen als radio of wekker.

De eenvoudige programmeerbaarheid van Reachy (Mini) maakt het mogelijk om snel complexe applicaties te bouwen. Dankzij de integratie met gespecialiseerde AI-modellen,waar we in eerdere blogposts al dieper op ingingen, beschikt de robot vandaag over opvallend veel mogelijkheden. Die kracht komt niet enkel uit de hardware, maar vooral uit de intelligentie van de achterliggende AI-technologie.

VLM, VLA en Edge AI

Toen drie jaar geleden ChatGPT gelanceerd werd, had niemand gedacht dat alles in zo’n stroomversnelling ging komen. Vandaag hebben we een heleboel taalmodellen ter beschikking, waarvan een groot deel ook in staat is om acties uit te voeren, en vision te combineren. Die modellen worden ook wel Vision/Language Models (VLM) genoemd. De integratie op robots zorgt dat er nog een nieuwe term, Vision Language Actions (VLA) op de proppen kwam. Dit soort modellen zijn specifiek gericht om de robots aan te sturen om taken uit te voeren met behulp van tekst én beeld.

Deze modellen zijn beschikbaar op de krachtige AI-infrastructuur om complexere redeneringen te gebruiken, maar hebben vaak ook kleinschaligere alternatieven die rechtstreeks op de robot kunnen uitgevoerd worden. Deze vorm van Edge-AI wint aan populariteit, de hardware voor robots wordt beter en blijft kleinschalig. Maar ook de optimalisaties voor de modellen neemt steeds meer toe.

Ook Reachy Mini kan eenvoudig gekoppeld worden aan deze modellen. Wil je de robot een dans laten uitvoeren? Dat kan! De gespecialiseerde AI-modellen worden gekoppeld aan de motoren van de robot met behulp van MCP-Tools en sturen deze rechtstreeks aan. Zo kan de robot de motoren gebruiken om het hoofd te bewegen en ook de antennes op het hoofdje mee te laten dansen.

Door middel van de geintegreerde camera kan Reachy Mini beelden sturen naar een (lokaal draaiende) Vision Model, om daar op te reageren. Het ontwerp van Reachy Mini laat toe om eenvoudige emoties uit te beelden. In combinatie met een AI-gestuurde emotie herkenning, kan Reachy Mini ingezet worden om dansen en emoties uit te beelden die gekoppeld zijn aan de emotie van de persoon voor de camera.

De ervaring van robots

Physical AI houdt in dat robots AI-modellen integreren in hun werking. Dit heeft natuurlijk een impact op de programmeerervaring. Er wordt al heel snel naar simulaties gekeken als het gaat over nieuwe code testen en uitvoeren. Een robot is namelijk niet altijd ter beschikking, en duurdere versies zijn al snel riskanter om een dure fout te maken.

De extra uitdaging bij de programmatie zit hem vooral ook in de complexiteit van fysieke hardware zoals sensoren en motoren. Een AI-model een klassificatie laten uitvoeren is eenvoudiger te testen, dan een dans beweging op een robot te proberen. Ondanks deze moeilijkheden en uitdagingen heeft de fysieke tastbaarheid van de robots een groot voordeel, waardoor een AI-model als ChatGPT al impressionant wordt.

De toekomst?

In Januari wordt Reachy Mini verder gekoppeld aan krachtige taalmodellen die we zelf zullen opstarten, leert hij beter Nederlands praten, en wordt hij ingezet in laatstejaarsonderzoeken van studenten Creative Technologies and AI. Hiermee zetten we stappen om robots en AI beter te combineren.

We koppelen Reachy Mini aan een centraal Robotics platform, ontwikkeld door onderzoekers en docenten, waarmee we Swarm Intelligence bij robots promoten. Deze techniek laat meerdere robots samenwerken, elk met hun eigen sterktes en krachten. Robots op wielen, humanoïde robots, wandelende robots of de kleine charmante bureau-robots, noem maar op. Ze worden allemaal gekoppeld aan elkaar en werken samen aan complexe projecten en toepassingen.

Dag van de Wetenschap, overspoeld door robots!

Al enkele jaren neemt Howest deel aan Dag van de Wetenschap, een Vlaams initiatief om wetenschap aan jongeren en hun families te demonstreren. Onze onderzoeksgroep pakte uit met Reachy Mini, enkele programmeerbare robot autootjes en een robot hond. Deze Unitree Go2 robot is bestuurbaar met een afstandsbediening, een smartphone app, of programmeerbaar via o.a. Python.

De interesse bij het brede publiek om schattige, herkenbare en nuttige robots te zien, viel hard op! De Unitree Go2 trok veel andacht omwille van de interessante kunstjes van de robot-hond. Een robot die in staat is om te bewegen en navigeren over moeilijk oneven terrein, geeft ook heel wat mogelijkheden naar nieuwe projecten.