1

M.Sc Thesis: Fritze Clemens – A Dexterous Multi-Finger Robotic Manipulator Framework for Intuitive Teleoperation and Contact-Rich Imitation Learning

Supervisor: M.Eng Fotios Lygerakis, Univ.-Prof. Dr. Elmar Rückert

Theoretical difficulty: mid
Practical difficulty: hard

 

Abstract

Robotic manipulation in dynamic environments requires systems that can adapt
to uncertainties and learn from limited human input. This thesis presents a dexterous
multi-finger robotic framework that integrates intuitive teleoperation with
self-supervised visuotactile representation learning to enable contact-rich imitation
learning. Central to the system is a Franka Emika Panda robotic arm paired with a
multi-fingered LEAP Hand equipped with high-resolution GelSight Mini tactile sensors.
A Meta Quest 3 teleoperation interface captures natural human demonstrations while
collecting multimodal data, including visual, tactile, and joint-state inputs, to train
the self-supervised encoders.

The study evaluates two representation learning methods, BYOL and MViTac, under
low-data conditions. Extensive experiments on complex manipulation tasks — such as
pick-and-place, battery insertion, and book opening—demonstrate that BYOL-trained
encoders consistently outperform both MViTac and a ResNet18 baseline, achieving
a 60% success rate on the challenging spiked cylinder task. Key findings highlight
the critical role of tactile feedback quality, with GelSight sensors delivering robust
tactile impressions compared to lower-resolution alternatives. Furthermore, parameter
studies reveal how system settings (e.g., reject buffers, movement thresholds) and
demonstration selection critically influence task performance.

Despite challenges in scenarios requiring precise visual-tactile coordination, the
results validate the potential of self-supervised learning to reduce human annotation
effort and facilitate a smooth transition from teleoperated control to autonomous
execution. This work provides valuable insights into the integration of hardware and
software components, as well as control strategies, demonstrating BYOL’s potential as
a promising approach for tactile representation learning in advancing autonomous
robotic manipulation.

Milestones

Teleoperation test of the LEAP Hand:

https://cps.unileoben.ac.at/wp/LeapHandTest.mp4

Visual encoder test:

https://cps.unileoben.ac.at/wp/VisualEncoderTest.mp4

First version of the FrankaArm-control test:

https://cps.unileoben.ac.at/wp/FrankaArmTest.mp4

Dataset collection / teleoperation of the whole setup:

https://cps.unileoben.ac.at/wp/CompleteSetup.mp4

Fully autonomous task execution:

https://cps.unileoben.ac.at/wp/AutonomousTaskExecution.mp4




1 PhD Position – Manipulation & Perception in Recycling

The Chair of Cyber-Physical Systems at Montanuniversität Leoben is offering a fully funded PhD position (100% employment) starting as soon as possible.

Employment Type: Full-time doctoral student (40 hours/week)

Salary: €3,714.80/month (14 times per year), Salary Group B1 according to Uni-KV

Duration: The position includes the opportunity to complete a PhD

About the Position

We are at the forefront of developing cutting-edge machine learning algorithms for detecting, tracking, and classifying material flows using various advanced sensing technologies, including:

• RGB cameras
• 3D imaging
• LiDAR
• Hyperspectral cameras
• RAMAN devices
• Tactile sensors

The resulting model predictions are used for automated data labeling, real-time process monitoring, and autonomous object manipulation.

This PhD research will focus on multiple aspects of these topics, with a special emphasis on multimodal sensing and robotic grasping. The goal is to enhance robotic perception and interaction by integrating machine learning with tactile sensing technologies.

What we offer

•A dynamic and collaborative research environment in artificial intelligence and robotics

•The opportunity to develop your own research ideas and work on cutting-edge projects

• Access to state-of-the-art lab facilities

•International research collaborations and conference travel opportunities

•Targeted career guidance for a successful academic and research career

Plus a great lab space shown in this image.

 

Requirements

Master’s degree in Computer Science, Physics, Telematics, Statistics, Mathematics, Electrical Engineering, Mechanics, Robotics, or a related field

Strong motivation for scientific research and publications

Ability to work independently and collaboratively in an interdisciplinary team

Interest in writing a PhD dissertation

Desired additional qualifications

• Programming experience in C, C++, C#, Java, MATLAB, Python, or a similar language

• Familiarity with AI libraries and frameworks (e.g., TensorFlow, PyTorch)

• Strong English communication skills (written and spoken)

• Willingness to travel for research collaborations and technical presentations

Application & Materials

A complete application includes:

1. Curriculum Vitae (CV) (detailed)

2. Letter of Motivation

3. Master’s Thesis (PDF or link)

4. Academic Certificates (Bachelor’s and Master’s degrees)

Optional but beneficial:

5. Letter(s) of Recommendation

6. Contact Information for References (name, email, phone)

7. Previous Publications (PDFs or links)

Application deadline: Open until the position is filled.

Online Application via Email: Please send your application files to rueckert@unileoben.ac.at

The Montanuniversität Leoben intends to increase the number of women on its faculty and therefore specifically invites applications by women. Among equally qualified applicants women will receive preferential consideration.




Bundesministerium für Landesverteidigung

Forschungsprojekt Nr. 991 “#command21 – Joint Environmental Denied Interface (JEDI)”

Das Projekt ist im Januar 2025 gestartet und befasst sich mit der Erforschung von KI-Modellen zur Gestenerkennung und Steuerung von autonomen Systemen. 

Für die Mensch-Maschine-Interaktion kommen multiple Systeme, wie zum Beispiel VR/AR-Brillen, zum Einsatz.  

Laufende Projekte, Bachelor- und Masterarbeiten

  • Offene Bachelor- und Masterarbeiten zur “Sensorfusion für multimodale Gestenerkennung”
  • Offene Bachelor- und Masterarbeiten zur “Prozess- und Workflow-Modellierung für die Interaktion mit autonomen Systemen”



Business Trip – Insurance

Update (as of 5 Feb 2025)

The university has an insurance for all employees for business trips. Thus, whenever you officially applied for a business trip (via MUOnline) and after the trip is granted, you are insured. The insurance includes many aspects, including medical treatment, retrieval, lost bags, etc.  Note: Thus, even for trips to the USA, you do not need a private insurance.  




XMas 2024 – 6th of Dec 2024 – CeDi

Dear CPS team, thank you all very much for this successful year. We had a very nice Christmas party in our new building – the center of digitalization (CeDi), or in german – Das Haus der Digitalisierung. 




Multi-modale, taktile-visuelle Robotergreifsystem für industrielle Anwendungen (MUTAVIA)

Schlüsseltechnologien im produktionsnahen Umfeld 2024

FFG Projekt 03/2025-02/2028

Unsere Forschung entwickelt intelligente Roboterhände, die fühlen können – ähnlich wie menschliche Hände. Mit innovativen Sensoren auf Basis von nachhaltigen Materialien wie Cellulose und Nanocellulose schaffen wir Lösungen, die nicht nur Druck und Temperatur spüren, sondern auch Schadstoffe und biologische Gefahren erkennen können.

Diese Technologie wird speziell für schwierige Aufgaben in der Industrie entwickelt, z. B. beim Sortieren von Abfällen oder empfindlichen Materialien, die bisher nur Menschen bewältigen konnten. Durch den Einsatz von Robotern in gefährlichen oder anstrengenden Arbeitsumfeldern schützen wir Menschen und verbessern die Arbeitsbedingungen.

Mit unseren nachhaltigen, langlebigen und präzisen Sensoren setzen wir neue Maßstäbe in der Automatisierung. Das stärkt nicht nur die heimische Wirtschaft, sondern bringt auch Innovation und Sicherheit für die Gesellschaft.

Projekt Consortium

  • Montanuniversität Leoben
    • Forschungs- und Innovationsservice Montanuniversität (Administrativer Koordinator)
    • Lehrstuhl für Automation und Messtechnik
    • Lehrstuhl für Cyber-Physical-Systems
  • FreyZein GmbH
  • Saubermacher Dienstleistungs AG

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

Project Summary

Our research is developing intelligent robotic hands that can feel – just like human hands. Using innovative sensors based on sustainable materials such as cellulose and nanocellulose, we are creating solutions that not only sense pressure and temperature, but can also detect pollutants and biological hazards.

This technology is being developed specifically for difficult tasks in industry, such as sorting waste or sensitive materials that previously only humans could handle. By using robots in hazardous or strenuous working environments, we protect people and improve working conditions.

With our sustainable, durable and precise sensors, we are setting new standards in automation. This not only strengthens the domestic economy, but also brings innovation and safety to society.

Poster

TBA

Other

TBA




Mag. Eva Anderson (Secretary)

Secretary

Short bio: Ms. Eva Anderson joined the CPS team in February 2025 and is in charge of organizational and administrative matters. She earned her degree in commerce at the Vienna university of economics and business.

Research Interests

  • Cyber-Physical-Systems 
  • Modern Technologies 
  • Learning Machines and Robotics

Contact

Mag. Eva Anderson
Sekretariat des Lehrstuhls für Cyber-Physical-Systems
Montanuniversität Leoben
Franz-Josef-Straße 18, 
8700 Leoben, Austria 

Phone:  +43 3842 402 – 1907
Email:   eva.anderson@unileoben.ac.at 
Web:  https://cps.unileoben.ac.at




Meta Quest 3

Meta Quest 3: Immersive Mixed Reality Headset

Meta Quest 3 is a cutting-edge mixed reality headset designed to blend immersive VR experiences with real-world awareness. Featuring a sleek, ergonomic design, it delivers high-resolution visuals and enhanced comfort, making it ideal for extended use across gaming, productivity, and creative applications.

The headset offers improved performance with advanced optics, a powerful Snapdragon XR2 Gen 2 chipset, and intuitive controls. Its wireless design ensures freedom of movement, while an adjustable fit provides a comfortable experience for all users.

Advanced Mixed Reality Capabilities

Meta Quest 3 integrates full-color passthrough and precise spatial mapping, enabling seamless transitions between virtual and physical environments. Its dynamic sensor suite tracks movement with precision, offering enhanced interaction and immersive AR overlays.

Paired with intuitive hand tracking, haptic controllers, and a robust content ecosystem, Meta Quest 3 redefines how users interact with digital and physical spaces, creating a versatile platform for both entertainment and productivity.

Videos

  • Research videos using the robot will be presented here. 

 

Publications

Sorry, no publications matched your criteria.




Microsoft Hololens 2

HoloLens 2: Advanced Mixed Reality Headset

HoloLens 2 is a state-of-the-art mixed reality headset designed to enhance interaction, visualization, and control in various applications. With its ergonomic design and untethered operation, it offers an immersive AR experience, enabling seamless integration of virtual content into the real world.

The device features a high-resolution display with a wide field of view, advanced hand tracking, and eye-tracking capabilities for natural and intuitive interaction. Its lightweight, comfortable fit allows for extended use in diverse environments.

Real-Time Spatial Awareness

HoloLens 2 employs sophisticated spatial mapping and environmental awareness, enabling precise alignment of holographic content with the physical world. Its sensors and depth cameras deliver accurate 3D spatial understanding, making it ideal for simulation, visualization, and control tasks.

With voice commands, gesture recognition, and compatibility with industry-leading software, HoloLens 2 transforms workflows by providing hands-free operation and actionable insights in real time.

Videos

  • Research videos using the robot will be presented here. 

 

Publications

Sorry, no publications matched your criteria.




1 Stelle im Sekretariat (m/w/d) – 12.Dezember 2024, RefID: 2411APC

Die Montanuniversität Leoben ist eine moderne Lehr- und Forschungsstätte und bietet sehr gute
Voraussetzungen für Karrieren in wissenschaftlichen und nichtwissenschaftlichen Berufsfeldern.
Am Department Product Engineering – Lehrstuhl für Cyber-Physical-Systems gelangt die Stelle im
Sekretariat (m/w/d) zur Besetzung.

Für diese Position ist gemäß dem Kollektivvertrag für Arbeitnehmer*innen (m/w/d) der Universitäten die
Verwendungsgruppe IIb (€ 2.460,10 brutto, 14x jährlich) vorgesehen, tatsächliche Einstufung erfolgt
lt. anrechenbarer tätigkeitsspezifischer Vorerfahrung.

Vorgesehener Dienstantritt: ehest möglich
Beschäftigungsdauer: unbefristet
Beschäftigungsausmaß in Wochenstunden: 20 h (mit der Option auf Erhöhung des Beschäftigungsausmaßes ab Jänner 2026)

Aufgabenbereich

  • Unterstützung der Lehrstuhlleitung bei der Verwaltung von Terminen und Korrespondenz in
    deutscher und englischer Sprache
  • Allgemeine Verwaltungstätigkeiten
  • Büroorganisation, Korrespondenz, Parteienverkehr
  • Mitarbeit bei Projektkoordination
  • Bestellung und Zahlungsabwicklung über SAP
  • Organisation der Lehre
  • Betreuung der Studierenden und Vortragenden
  • Parteienverkehr

Anstellungsvoraussetzungen

  • Abgeschlossene kaufmännische Ausbildung (Handelsschule oder ähnlich) mit mehrjähriger,
    einschlägiger Berufserfahrung
  • Kaufmännische, fachliche und organisatorische Kenntnisse
  • Sehr gute EDV-Kenntnisse (MS Office)
  • Sehr gute Deutsch und Englisch Kenntnisse (Wort und Schrift)
  • Männliche Bewerber nur nach abgeschlossenem Präsenz-/Zivildienst

Erwünschte Zusatzqualifikationen:

  • Selbständiges und genaues Arbeiten sowie Einsatzfreude und Bereitschaft zur Übernahme von
    Eigenverantwortung
  • Tragfähigkeit
  • Organisationsgeschick
  • Koordinationsfähigkeit und Flexibilität
  • Hands-on Mentalität
  • Gepflegtes und sicheres Auftreten

Wir bieten zahlreiche Benefits, unter anderem:

  • Gute öffentliche Erreichbarkeit mit Zug und Bus
  • Flexible Arbeitszeit
  • Arbeitsmedizinische Leistungen
  • Gesundheitstag/Gesundheitsförderung
  • Universitätssportprogramm
  • Einkaufsvergünstigungen
  • Sprachförderung

Bewerbung und Unterlagen

Referenznummer: 2411APC
Ende der Bewerbungsfrist: 12.12.2024

Personen mit Behinderung oder chronischen Erkrankungen, die, die geforderten Qualifikationskriterien
erfüllen, werden ausdrücklich zur Bewerbung aufgefordert.

Um eine geschlechtsneutrale Formulierung zu gewährleisten, werden geschlechterspezifische Artikel,
Pronomen und Adjektive im Text abgekürzt dargestellt.

Leider können die Reise- und Aufenthaltskosten, die aus Anlass des Aufnahmeverfahrens entstehen,
nicht vergütet werden. Die Aufnahmen erfolgen nach den Bestimmungen des Universitätsgesetzes
2002 (UG) und des Angestelltengesetzes.

Die Montanuniversität Leoben strebt eine Erhöhung des Frauenanteiles an und fordert deshalb
qualifizierte Frauen ausdrücklich zur Bewerbung auf. Frauen werden bei gleicher Qualifikation wie der
bestgeeignete Mitbewerber vorrangig aufgenommen.

Für Ihre Bewerbung verwenden Sie bitte unser Online Bewerbungsformular auf der Homepage:
https://www.unileoben.ac.at/jobs