Motion Tracking

Een podium-tracking systeem die licht/visuals aanstuurt door middel van bewegingen van de artiest op het podium

Opdracht

Het doel van dit project is het ontwikkelen van een Podium-Tracking systeem. Dit systeem is bedoeld om bewegingen van artiesten op te detecteren en deze accuraat te volgen. De data die hieruit voortvloeit wordt gebruikt om Licht/Visuals dynamisch te laten veranderen

Inhoud

Software

De broncode voor de tracking algoritmes en aansturing is te vinden in de Software map. We maken gebruik van Python, OpenCV, YOLO,... voor de beeldverwerking en data-analyse.

Documentatie

De algemene documentatie voor het project is te vinden in de Documentatie map. Hierin vind je technische specificaties, flowcharts en uitleg over de werking van het tracking algoritme.

Research

Alle onderzoeken voor het project kan men terug vinden in de Research map. Hierin vind je gevonden informatie, ruwe datasheets,...

Installatie Motion Tracking met projector

Benodigdheden:

• Projector of groot scherm
• Raspberry Pi 5 + hailo ai kit
• USB Camera -> verbonden met raseberry
• Radxa Rock 5B of sterker apparaat -> verbonden met projector
• Virtuele Machine op server of iets waar je website op kan hosten

Stappen:

1. Clone de github-repo op de Raspberry Pi 5, Rock en VM.

2. Lokaliseer de juiste files per apparaat: map Visual_output > Radxa Rock | map Hailo_tracking > Raspberry Pi 5 Hailo Kit | map Vm > Virtuele Machine op server

3. Sluit de camera aan op de Raspberry Pi 5 en de projector op de Radxa Rock

4. Zorg ervoor dat de Projector en camera steeds goed gepositioneerd blijven (dit kan met een statief + plaat).

5. Start het script main.py op de Raspberry Pi en ook het script main.py starten op de Rock.

6. Laat de camera de fudicials tracken, als de fudicials dan verdwijnen zou de tracking moeten opgestart zijn.

7. Surf naar het IP-adres van uw VM op poort 80:

[IP-Adres]:80

Gebruik

1. Start alles op (zie installatie).

2. Ga voor de camera staan/bewegen om effecten te zien op de projector.

3. Pas achtergronden en effecten aan op de website om mooie visuals te krijgen.

Installatie Motion Tracking met Moving Spot

Benodigdheden:

• 2X ESP32-C3-DevKitC-02
• Radar Sensor (mmWave-sensor) (Ai-Thinker Rd-03D 24GHz Radar Sensor Module)
• Arduino Uno
• QShield Servo Driver Board
• Servo Motoren (Nema 17)
• Spotlight Lamp (Eurolite LED PST-12W 6000K Spot)

Stappen

1. Lokaliseer de juiste files door te Navigeren naar : Software > Radar > Radar_code > Radar_code.ino .
2. Verbind de Esp en de Radar met elkaar

Team

Team	Afstudeerrichting
Brent Vileyn	Elektronica
EwoudBoutje	Network & System Admin
Jason De Smet	Network & System Admin
Jamie Jones	Network & System Admin

Planning

Sprint 1 (Week 1-4):

• Alle componenten besteld
• Camera doen werken op Raspberry Pi + Scherm herkennen met testcode
• Radar Module onderzoeken + schema's maken
• Visuals onderzoeken + hoe uit pi krijgen

Sprint 2 (Week 5-8)

• Eerst prototype afgewerkt
• Foto's & video's voor sociale media
• Visual dynamisch kunnen aanpassen aan artiest

Sprint 3 (Week 9-15)

• volledig werkende visuals show
• eventuele uitbreidingen toepassen
• documentatie afgewerkt