Author: Elmar Rueckert

image_pdfimage_print

Sai Puneeth Reddy Gottam, M.Sc.

Elmar Rueckert people_accademic

Ph.D. Student at the Montanuniversität Leoben

Short bio: Mr. Sai Puneeth Reddy Gottam started at CPS on 1st of July in 2025. 

He received his Master degree in Automation and Robotics from RWTH Aachen University in 2024 with the study focus on Robotics and Machine Learning. His thesis was entitled “Adaptive feature tracking in visual odometry using self-supervised learning for
challenging environments”, which took place at Space Application Services NV/SA, Brussels. In the thesis, he implemented Self-supervised learning improving feature detection for Visual Odometry in complex large scale environments. Before that, he also did his Research internship at Space Application Services, where he worked on synthetic data generation and object detection for vessel detection.

Research Interests

  • Machine Learning
  • Robotics
  • Computer Vision

Contact & Quick Links

M.Sc. Sai Puneeth Reddy Gottam
Doctoral Student supervised by Univ.-Prof. Dr. Elmar Rueckert.
Montanuniversität Leoben
Roseggerstrasse 11 , 
8700 Leoben, Austria 

Phone:  +49 1636348289
Email:   sai.gottam@unileoben.ac.at 
Web Work: CPS-Page
Chat: WEBEX

Personal Website
GitHub
Google Citations
LinkedIn
ORCID
Research Gate

Publications

B.Sc. Thesis: Richard Marecek on evelopment of an Automated Data Acquisition and Monitoring System for Sensor-Based Testing

Elmar Rueckert teaching_pastthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Project:§27 Hopbas Pipe
Start date: 1st of May 2024

Theoretical difficulty: low
Practical difficulty: high

Topic

The goal of this project is to develop a webinterface to record a very large number of various sensors, to visualize the data and to store it into a database. 

To connect and transform the sensor data a programmable hardware device, theAdvantech ADAM 6017-D is used. 

Tasks

  • Literature research of state of the art, see references
  • Lab prototype environment for recording multiple sensors (different bus protocols, analog and digital)
  • Dataset recording, visualization
  • User interface to add sensors and to start tests
  • Evaluation on of different tests (varying number of sensors, ADAM devices, etc.).
  • Thesis writing.

References

  • TASMOTA
  • MQTT
  • MODBus

Bachelor Thesis

The final bachelor thesis document can be downloaded here. 

Innovationslabor für Automation, Robotik und KI

Elmar Rueckert projects_thirdparty

Projektpartner:

  • Prof. Thomas Thurner, Lehrstuhl für Automation & Messtechnik
  • Prof. Elmar Rückert, Lehrstuhl für Cyber-Physical-Systems

Forschungsinnovationen sind die treibende Kraft für eine moderne nachhaltige Kreislaufwirtschaft. Um diese Innovationen zu entwickeln, haben die Lehrstühle für Cyber-Physical-Systems (CPS) und Automation und Messtechnik (A&M), ein neues Innovationsforschungslabor für Recycling (INFOR) im Haus der Digitalisierung aufgebaut. 

Abbildung 1: Roboter und Kreisförderanlage des Innovationsforschungslabor für Recycling (INFOR) im Haus der Digitalisierung – Digital Science Lab.

Projektziele

Folgende Projektziele werden adressiert:

Kreislaufwirtschaft und Nachhaltigkeit verstehen wir als Bestandteil unsere DNA and der Montanuniversität, welche wir mit besonders innovativen multidisziplinären Ansätzen aus dem Bereich der Digitalisierung / Robotik sowie der Recyclingtechnik und der Reststoffverwertung gerecht werden. Diese Themen werde im Innovationsforschungslabor praxisnahe untersucht.  

Digitalisierung ist ein Querschnittsthema welches quer über alle Schwerpunktbereiche der Montanuniversität besonders relevant ist. Auch für die Unterstützung der lokalen Industrie werden Digitalisierungsthemen an der Montanuniversität die Wettbewerbsfähigkeit der nationalen Industriebetriebe stärken, beispielsweise durch Nutzung von neuen Technologien die an der Montanuniversität erforscht werden, oder durch direkt zielgerichtete Unterstützung in kooperativen Projekten und Kooperationen.

Die Robotik ist als einer der zentralen Megatrends sowohl in Industrie als auch im Consumer-Bereich. Humanoide Roboter sind beispielsweise als neue Technologie in den Startlöchern, mit bereits sichtbarem exponentiellem Wachstum und beeindruckenden Prognosen, z.b., laut der  Bank of Amerika sollen die globalen Verkaufszahlen von Humanoiden Robotern im Jahr 2030 bei 1 Million Einheiten liegen, und prädiziert wird für 2060 die beeindruckende Anzahl von 3 Milliarden humanoiden Robotern.

Im Bereich des Recycling werden neue Konzepte durch robotische Lösungen, aber auch durch den Einsatz von Sensorik und Maschinellem Lernen, insbesondere aber durch die Kombination der genannten Disziplinen in multidisziplinären gemeinsamen Arbeiten untersucht und entwickelt.

Anwendungen und Forschungsfragen

Zentrale Forschungsfragen welche direkt die Kompetenzen und Forschungsbereiche der beiden beteiligten Lehrstühle betreffen:

  • CPS: Einsatz von KI und maschinellem Lernen in der Robotik, insbesondere bei humanoiden Robotern
  • CPS: Entwicklung KI-basierter Modelle zur sensorgestützten Erkennung und Klassifizierung in Echtzeit
  • CPS & A&M: Mensch-Maschine-Interaktion durch Sprachmodelle, AR-/VR-Systeme zur Unterstützung manueller Tätigkeiten an Förderanlagen (z. B. Markierung gefährlicher oder relevanter Objekte)
  • A&M: Taktile Sensorik und neuartige Greifsysteme, einschließlich künstlicher Hände für humanoide Robotik
  • CPS & A&M: Robotisches Greifen für industrielle Anwendungen – mit Fokus auf das Recycling
  • A&M: Regelung robotischer Systeme, insbesondere für haptisches Greifen
  • A&M: Sensorik für die robotische Sortierung von Reststoffen im Recyclingbereich

Kooperationen und öffentliche Events

Das Innovationsforschungslabor für Recycling bietet die Möglichkeit, komplexe Aufgabenstellungen und Fragestellungen unter realitätsnahen Bedingungen zu untersuchen. Es erlaubt die autonome und semi-autonome Erfassung großer Datenmengen und dient als Testumgebung für innovative Sensor- und Greiftechnologien.

Ein besonderer Schwerpunkt liegt auf der Zusammenarbeit mit Industriepartnern zur Erprobung humanoider Roboter im industriellen Umfeld.

Aktuell wird das Labor in folgenden Industriekooperation genützen:

  • Infineon Technologies Austria AG

BSc. Thesis, Weiyi Lin – Image augmentation and its impacts on reinforcement learning models

Elmar Rueckert notes_vedant, teaching_currentthesestopics

Supervisor: Vedant Dave, M.Sc.
Univ.-Prof. Dr Elmar Rückert
Start date:  3rd April 2025

 

Theoretical difficulty: mid
Practical difficulty: low

Abstract

Due to the tendency of reinforcement learning models to overfit to training data, data augmentation has become a widely adopted technique for visual reinforcement learning tasks for its capability of enhancing the performance and generalization of agents by increasing the diversity of training data. Often, different tasks benefit from different types of augmentations, and selecting them requires prior knowledge of the environment. This thesis aims to explore how various augmentation strategies can impact the performance and generalization of agents in visual environments, including visual augmentations and context-aware augmentations.

Tentative Work Plan

  • Literature research.
  • Understanding of concepts of visual RL models (SVEA).
  • Implementing and testing different augmentations.
  • Observation and documentation of results.
  • Thesis writing.

Related Work

[1] N. Hansen and X. Wang, “Generalization in Reinforcement Learning by Soft Data Augmentation,” 2021 IEEE International Conference on Robotics and Automation (ICRA), Xi’an, China, 2021, pp. 13611-13617, doi: 10.1109/ICRA48506.2021.9561103

[2] Hansen, Nicklas, Hao Su, and Xiaolong Wang. “Stabilizing deep q-learning with convnets and vision transformers under data augmentation.” Advances in neural information processing systems 34 (2021): 3680-3693.

[3] Almuzairee, Abdulaziz, Nicklas Hansen, and Henrik I. Christensen. “A Recipe for Unbounded Data Augmentation in Visual Reinforcement Learning.” Reinforcement Learning Conference.

M.Sc Thesis: Fritze Clemens – A Dexterous Multi-Finger Robotic Manipulator Framework for Intuitive Teleoperation and Contact-Rich Imitation Learning

Elmar Rueckert teaching_pastthesestopics

Supervisor: M.Eng Fotios Lygerakis, Univ.-Prof. Dr. Elmar Rückert

Theoretical difficulty: mid
Practical difficulty: hard

 

Abstract

Robotic manipulation in dynamic environments requires systems that can adapt
to uncertainties and learn from limited human input. This thesis presents a dexterous
multi-finger robotic framework that integrates intuitive teleoperation with
self-supervised visuotactile representation learning to enable contact-rich imitation
learning. Central to the system is a Franka Emika Panda robotic arm paired with a
multi-fingered LEAP Hand equipped with high-resolution GelSight Mini tactile sensors.
A Meta Quest 3 teleoperation interface captures natural human demonstrations while
collecting multimodal data, including visual, tactile, and joint-state inputs, to train
the self-supervised encoders.

The study evaluates two representation learning methods, BYOL and MViTac, under
low-data conditions. Extensive experiments on complex manipulation tasks — such as
pick-and-place, battery insertion, and book opening—demonstrate that BYOL-trained
encoders consistently outperform both MViTac and a ResNet18 baseline, achieving
a 60% success rate on the challenging spiked cylinder task. Key findings highlight
the critical role of tactile feedback quality, with GelSight sensors delivering robust
tactile impressions compared to lower-resolution alternatives. Furthermore, parameter
studies reveal how system settings (e.g., reject buffers, movement thresholds) and
demonstration selection critically influence task performance.

Despite challenges in scenarios requiring precise visual-tactile coordination, the
results validate the potential of self-supervised learning to reduce human annotation
effort and facilitate a smooth transition from teleoperated control to autonomous
execution. This work provides valuable insights into the integration of hardware and
software components, as well as control strategies, demonstrating BYOL’s potential as
a promising approach for tactile representation learning in advancing autonomous
robotic manipulation.

Milestones

Teleoperation test of the LEAP Hand:

Visual encoder test:

First version of the FrankaArm-control test:

Dataset collection / teleoperation of the whole setup:

Fully autonomous task execution:

1 PhD Position – Manipulation & Perception in Recycling

Elmar Rueckert job

The Chair of Cyber-Physical Systems at Montanuniversität Leoben is offering a fully funded PhD position (100% employment) starting as soon as possible.

• Employment Type: Full-time doctoral student (40 hours/week)

• Salary: €3,714.80/month (14 times per year), Salary Group B1 according to Uni-KV

• Duration: The position includes the opportunity to complete a PhD

About the Position

We are at the forefront of developing cutting-edge machine learning algorithms for detecting, tracking, and classifying material flows using various advanced sensing technologies, including:

• RGB cameras
• 3D imaging
• LiDAR
• Hyperspectral cameras
• RAMAN devices
• Tactile sensors

The resulting model predictions are used for automated data labeling, real-time process monitoring, and autonomous object manipulation.

This PhD research will focus on multiple aspects of these topics, with a special emphasis on multimodal sensing and robotic grasping. The goal is to enhance robotic perception and interaction by integrating machine learning with tactile sensing technologies.

What we offer

•A dynamic and collaborative research environment in artificial intelligence and robotics

•The opportunity to develop your own research ideas and work on cutting-edge projects

• Access to state-of-the-art lab facilities

•International research collaborations and conference travel opportunities

•Targeted career guidance for a successful academic and research career

Plus a great lab space shown in this image.

 

Requirements

• Master’s degree in Computer Science, Physics, Telematics, Statistics, Mathematics, Electrical Engineering, Mechanics, Robotics, or a related field

• Strong motivation for scientific research and publications

• Ability to work independently and collaboratively in an interdisciplinary team

• Interest in writing a PhD dissertation

Desired additional qualifications

• Programming experience in C, C++, C#, Java, MATLAB, Python, or a similar language

• Familiarity with AI libraries and frameworks (e.g., TensorFlow, PyTorch)

• Strong English communication skills (written and spoken)

• Willingness to travel for research collaborations and technical presentations

Application & Materials

A complete application includes:

1. Curriculum Vitae (CV) (detailed)

2. Letter of Motivation

3. Master’s Thesis (PDF or link)

4. Academic Certificates (Bachelor’s and Master’s degrees)

Optional but beneficial:

5. Letter(s) of Recommendation

6. Contact Information for References (name, email, phone)

7. Previous Publications (PDFs or links)

Application deadline: Open until the position is filled.

Online Application via Email: Please send your application files to rueckert@unileoben.ac.at

The Montanuniversität Leoben intends to increase the number of women on its faculty and therefore specifically invites applications by women. Among equally qualified applicants women will receive preferential consideration.

Bundesministerium für Landesverteidigung

Elmar Rueckert projects_industrial

Forschungsprojekt Nr. 991 "#command21 - Joint Environmental Denied Interface (JEDI)"

Das Projekt ist im Januar 2025 gestartet und befasst sich mit der Erforschung von KI-Modellen zur Gestenerkennung und Steuerung von autonomen Systemen. 

Für die Mensch-Maschine-Interaktion kommen multiple Systeme, wie zum Beispiel VR/AR-Brillen, zum Einsatz.  

Laufende Projekte, Bachelor- und Masterarbeiten

  • Offene Bachelor- und Masterarbeiten zur “Sensorfusion für multimodale Gestenerkennung”
  • Offene Bachelor- und Masterarbeiten zur “Prozess- und Workflow-Modellierung für die Interaktion mit autonomen Systemen”

Business Trip – Insurance

Elmar Rueckert wiki_phds

Update (as of 5 Feb 2025)

The university has an insurance for all employees for business trips. Thus, whenever you officially applied for a business trip (via MUOnline) and after the trip is granted, you are insured. The insurance includes many aspects, including medical treatment, retrieval, lost bags, etc. 
 
Note: Thus, even for trips to the USA, you do not need a private insurance. 
 

Multi-modale, taktile-visuelle Robotergreifsystem für industrielle Anwendungen (MUTAVIA)

Elmar Rueckert projects_thirdparty

Schlüsseltechnologien im produktionsnahen Umfeld 2024

FFG Projekt 03/2025-02/2028

Unsere Forschung entwickelt intelligente Roboterhände, die fühlen können – ähnlich wie menschliche Hände. Mit innovativen Sensoren auf Basis von nachhaltigen Materialien wie Cellulose und Nanocellulose schaffen wir Lösungen, die nicht nur Druck und Temperatur spüren, sondern auch Schadstoffe und biologische Gefahren erkennen können.

Diese Technologie wird speziell für schwierige Aufgaben in der Industrie entwickelt, z. B. beim Sortieren von Abfällen oder empfindlichen Materialien, die bisher nur Menschen bewältigen konnten. Durch den Einsatz von Robotern in gefährlichen oder anstrengenden Arbeitsumfeldern schützen wir Menschen und verbessern die Arbeitsbedingungen.

Mit unseren nachhaltigen, langlebigen und präzisen Sensoren setzen wir neue Maßstäbe in der Automatisierung. Das stärkt nicht nur die heimische Wirtschaft, sondern bringt auch Innovation und Sicherheit für die Gesellschaft.

Projekt Consortium

  • Montanuniversität Leoben
    • Forschungs- und Innovationsservice Montanuniversität (Administrativer Koordinator)
    • Lehrstuhl für Automation und Messtechnik
    • Lehrstuhl für Cyber-Physical-Systems
  • FreyZein GmbH
  • Saubermacher Dienstleistungs AG

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

Project Summary

Our research is developing intelligent robotic hands that can feel – just like human hands. Using innovative sensors based on sustainable materials such as cellulose and nanocellulose, we are creating solutions that not only sense pressure and temperature, but can also detect pollutants and biological hazards.

This technology is being developed specifically for difficult tasks in industry, such as sorting waste or sensitive materials that previously only humans could handle. By using robots in hazardous or strenuous working environments, we protect people and improve working conditions.

With our sustainable, durable and precise sensors, we are setting new standards in automation. This not only strengthens the domestic economy, but also brings innovation and safety to society.

Poster

TBA

Other

TBA