Author: Elmar Rueckert

image_pdfimage_print

1 Senior Researcher / Tenure Track Professorship Option, 2406WPE

Elmar Rueckert job

One vacant position for a full-time Senior Scientist (m/f/d) at the Chair of Cyber-Physical-Systems in the Department Product Engineering from the earliest possible date in a 3-year fixed-term employment contract; with the option of a qualification position after positive evaluation according to §99 para. 5 (UG 2002), equivalent to a tenure track assistant professorship.

Salary Group B1 according to the Uni-KV, monthly minimum salary excl. Szlg.: € 4.752,30 for 40 hours per week (14 x per year).

We are looking for a researcher with high personal motivation for scientific excellence and integrity, with the ability to solve problems and enjoy working in research teams in an interdisciplinary and internationally oriented environment.

Core Responsibilities

  • Independent teaching in the areas of digitalization / data modelling / programming, artificial intelligence/machine learning and robotics.
  • Extension and active participation in the group’s research on topics such as Computer Vision, Deep Learning, Large Language Models, Machine Learning, Reinforcement Learning, Smart Devices, Tactile Learning, Autonomous Systems, Mixed Reality, Autonomous Navigation, Human-Robot Interaction, Interactive Learning, Manipulation, Probabilistic Inference, Robot Learning, Simulation, Spiking Neural Networks and Transfer Learning, demonstrated by publications at international conferences (e.g. AAAI, AISTATS, CoRL, ICML, ICRA, IJCAI, IROS, NeurIPS, RSS) and in renowned journals (e.g. AURO, IJRR, JMLR, MLJ, Neural Computation, SciReps, TRo).
  • Leading project management tasks and applying for funding to support and further develop the chair’s research priorities.
  • Promotion of interdisciplinary collaboration and publication of research results in high-ranking scientific journals and conferences.

Requirements

  • Degree in computer science, physics, telematics, electrical engineering, mechanics, robotics,
    mathematics or related studies with a doctorate in a relevant subject
  • Experience in at least one of the following areas or related topics: Machine Learning, Neural Networks,
    Robot Learning or Learning Sensor Systems.
  • Willingness and ability to co-supervise scientific work and to publish research results.
  • Programming experience in one of the following languages: C, C++, C#, JAVA, Python or similar.
  • Ability to work in a team, sociability, self-motivation and reliability in a growing team.
  • Good command of English and willingness to travel for research and technical presentations.

Desired Additional Qualifications

Several years of professional experience in the above-mentioned subject areas or experience as a postdoc or research group leader in international teams.

Application Documents Required:

A complete application includes a (1) detailed curriculum vitae, (2) a letter of motivation with a reference to the desired research and teaching field from the above-mentioned subject areas, (3) two letters of recommendation, (4) all relevant certificates of previous education for bachelor’s, master’s and doctoral studies, (5) name, email and telephone number of two further references for contact, (6) previously published or submitted publications, the doctoral thesis and potential patents in the form of links integrated into a PDF file.

We Offer:

The Senior Scientist will be employed for a fixed term of three years. After one year, the position will be evaluated with the possibility of extending the position or extending the position to a career position in accordance with §99 para. 5 (UG 2002). 

We offer a varied and independent job. A team-oriented working atmosphere, intensive cooperation with project partners and involvement in teaching offer ideal opportunities for professional and personal development. The Montanuniversität promotes career paths and offers excellent conditions for social diversity in a contemporary working environment.

For further information, please contact cps@unileoben.ac.at.

Reference ID: 2406WPE Job portal of the university
Application deadline: 08.08.2024

The Montanuniversitaet Leoben intends to increase the number of women on its faculty and therefore specifically invites applications by women. Among equally qualified applicants women will receive preferential consideration. Scientific experience demonstrated through publications in international conferences and journals on machine learning, neural networks, robotics, or embedded systems. Good team-leading skills and the ambition to supervise doctoral students. Experience in obtaining external funding and in collaborating with industrial partners is advantageous but not a requirement. Excellent English skills and willingness to travel for research and to give technical presentations are required.

190.021 Einführung in die Datenmodellierung (4ECTS VU, WS)

Elmar Rueckert teaching_currentlectures

Note, this course is held in German, for English-speaking students there is an exercise group (Group E) in which the lecture part is repeated at the beginning of each unit.  

A course description in English can be found via MUOnline. 

Kursbeschreibung

Die Datenmodellierung spielt eine wesentliche Rolle in modernen Unternehmen. Unzählige Prozessdaten werden gespeichert und zur Prozessoptimierung, zur Qualitätssicherung oder zum Verbessern der Arbeitssicherheit verwendet.

Aber um welche Daten handelt es sich dabei, wie werden die Daten gespeichert und verarbeitet, und wie können damit die obigen Ziele, z.b. durch KI-Methoden erreicht werden? Diese Fragen werden in dieser Lehrveranstaltung behandelt. 

Ziele der Lehrveranstaltung (LV)

Das Ziel der LV ist die Vermittlung von Kompetenzen zur Datenmodellierung und nicht die Anwendung spezieller Tools.

Um das zu erreichen werden Konzepte (z.B. was sind Datenstörungen, wie erkennt man sie und wie können sie behoben werden) vermittelt und an Beispielen im HS interaktiv und eigenständig erprobt. Es ist keine Datenbankenvorlesung.  

Erworbene Kompetenzen

  • Grundlagen der Datenmodellierung kennen. Dazu gehören die unterschiedlichen Daten (quantitative und kategoriale Variablen) und Aufnahme/Modellierungsarten (z.B. Exceltabellen, Datenbanken, Arrays, etc.), Diskretisierungsgrundlagen (Nyquist-Shannon Theorem) und Imformationstheorie-Grundlagen (Entropie der Daten).
  • Die Notwendigkeit von Kenntnissen zur Datenmodellierung durch Expertenvorträge aus der deutschsprachigen Industrie oder von Experten der MUL erkennen. Eingeladene Experten stellen ihre Daten, Modellierungsverfahren und die nötigen Kenntnisse der Mitarbeiter vor.  
  • Korrelationen erkennen und für Vorhersagen nützen.
  • Daten visuell aufbereiten können, z.b. mit online Tools wie Jupyter Notebooks, https://www.chartle.com,https://plotdb.com, oder unserem zukünftigen Research Data Management Repository (https://inveniordm.web.cern.ch).
  • Probleme wie Ausreißer, Störungen, fehlende Messwerte in Daten erkennen können und Lösungsstrategien anwenden können.
  • Unterschiedliche Datensatzformate und Zugriffsmöglichkeiten kennen, z.B.: online Datenbanken kennen und verarbeiten können (https://www.statista.com, https://trends.google.com/trends/, https://ourworldindata.org).
  • Eigene Datenmanagementsysteme erstellen können (SQLLite, mariadb, CSV, Excel) und mit Visualisierungstools verknüpfen können (graphana, Jupyter NB, etc).
  • Grundlagen der Statistik auf Daten anwenden können (Mittelwert, Median, Standardabweichung, Quantiles, Tests auf Normalverteilung der Daten, Korrelationen visualisieren).
  • Das Funktionsprinzip von maschinellen Lernmethoden auf Daten beschreiben können: Begriffe wie Vorhersagen, abhängige Variablen, erklärende Variablen erklären können.
  • Onlinetools (lineare- und nichtlineare Regressionen) zur Vorhersage anwenden können.

Unterrichtsformat

Die LV baut auf vier Säulen auf:

  1. Grundlagenvermittlung per Frontalunterricht im Hörsaal mit interaktiven Elementen.
  2. Expertenvorträge zur Datenmodellierung aus Unternehmenssicht (was ist der Stand der Technik im Unternehmen, was müssen Studierende beherrschen, wenn sie bei diesen Unternehmen arbeiten wollen).
  3. Expertenvorträge zu weiterführenden Inhalten an der Montanuniversität (Wo und wie wende ich im Laufe des Studiums die Kenntnisse an, z.B. Machine Learning, IoT, etc.).
  4. Praktische Übungen in Gruppen. 

Links and Ressourcen

 

Ort und Zeit

  • Vorlesungen und Expertenvorträge: HS 1 Studienzentrum
    • jede Woche am Montag (11:00-13:00), ab dem 11.11.2024
    • jede Woche am Donnerstag (11:00-12:00), ab dem 14.11.2024
  • Übungen: Es gibt 10 Gruppen zur Auswahl mit unterschiedlichen Zeiten. Gruppe E wird in Englisch abgehalten. Aufgrund von Ausnahmen, bitte im MUOnline die genauen Termine beachten.   
    • Gruppe 1: Dienstag (14:00-16:00) CR Hilbert
    • Gruppe 2: Dienstag (16:00-18:00) CR Hilbert
    • Gruppe 3: Dienstag (18:00-20:00) CR Hilbert
    • Gruppe 4: Mittwoch (14:00-16:00) CR Hilbert
    • Gruppe 5: Mittwoch (16:00-18:00) CR Hilbert
    • Gruppe 6: Mittwoch (18:00-20:00) CR Hilbert
    • Gruppe 7: Montag (16:00-18:00) CR Hilbert
    • Gruppe 8: Dienstag (16:00-18:00) CR IZR
    • Gruppe 9: Mittwoch (14:00-16:00) CR IZR
    • Gruppe E: Mittwoch (16:00-18:30) CR IZR
 

Notwendiges Vorwissen

Keine. 

Folien und Unterlagen

Folgende Termine sind für die LV vorgesehen. Jedoch gilt die Liste als vorläufig und nicht alle Termine werden benötigt.  

  • 11.11.2024 (Montag)
    • TBA
  • 14.11.2024 (Donnerstag)
    • TBA
  • 18.11.2024 (Montag)
    • TBA
  • 21.11.2024 (Donnerstag)
    • TBA
  • 25.11.2024 (Montag)
    • TBA
  • 28.11.2024 (Donnerstag)
    • TBA
  • 02.12.2024 (Montag)
    • TBA
  • 05.12.2024 (Donnerstag)
    • TBA
  • 09.12.2024 (Montag)
    • TBA
  • 12.12.2024 (Donnerstag)
    • TBA
  • 16.12.2024 (Montag)
    • [Expertenvortrag] DI Daniel Valtiner, B.Sc. MBA, Infineon Technologies Austria AG, Titel: Chancen und Herausforderungen beim Einsatz von Large Language Models in der Fertigung von Halbleitertechnologie.
  • 20.12.2024 (Donnerstag)
    • TBA
  • 13.01.2025 (Montag)
    • TBA
  • 16.01.2025 (Donnerstag)
    • TBA
  • 20.01.2025 (Montag)
    • TBA
  • 23.01.2025 (Donnerstag)
    • TBA
  • 27.01.2025 (Montag)
    • TBA
  • 30.01.2025 (Donnerstag)
    • TBA

Benotung

Die Benotung erfolgt immanent. Insgesamt können 100 Punkte durch aktives Mitarbeiten, Übungsblätter und durch Prüfungen erworben werden. 

Details zur Benotung werden in der ersten Vorlesungseinheit vorgestellt, d.h. am 11.11.2024. 

Benotungsschema: 0-49,9 Punkte (5), 50-65,9 Punkte (4), 66-79 Punkte (3), 80-91 Punkte (2), 92-100 Punkte (1).

Bei einer Gesamtpunktzahl von bis zu 79 % KANN (!) auch eine zusätzliche mündliche Leistungsüberprüfung erforderlich sein, wenn der positive Leistungsnachweis nicht eindeutig ist. In diesem Fall werden Sie informiert, sobald die Noten bekannt gegeben werden. Wenn Sie bereits eine Note über MU online erhalten haben, werden Sie nicht zu einer weiteren mündlichen Leistungskontrolle eingeladen.

Literatur

Grundlagen zur Datenmodellierung

– Karsten Berns, Bernd Schürmann, Mario Trapp 2010. Eingebettete Systeme: Systemgrundlagen und Entwicklung eingebetteter Software. Vieweg+Teubner Verlag.

Maschine Learning and Data-modelling:

– Rueckert Elmar 2022. An Introduction to Probabilistic Machine Learning, https://cloud.cps.unileoben.ac.at/index.php/s/iDztK2ByLCLxWZA

– James-A. Goulet 2020. Probabilistic Machine Learning for Civil Engineers. MIT Press.

– Bishop 2006. Pattern Recognition and Machine Learning, Springer.

Learning method Programming in Python:

– Sebastian Raschka, YuxiH. Liu and Vahid Mirjalili 2022. Machine Learning with PyTorch and Scikit- Learn. Packt Publishing Ltd, UK.

– Matthieu Deru and Alassane Ndiaye 2020. Deep Learning mit TensorFlow, Keras und TensorFlow.js., Rheinwerk-verlag, DE. 

Problemspecific Litheratur:

– B. Siciliano, L.Sciavicco 2009. Robotics: Modelling, Planning and Control, Springer.

– Kevin M. Lynch and FrankC. Park 2017. MODERN ROBOTICS, MECHANICS, PLANNING, AND CONTROL, Cambridge University Press.

– E.T. Turkogan 1996. Fundamentals of Steelmaking. Maney Publishing,UK.

190.017 Advanced Machine and Deep Learning (5SH IL, WS)

Elmar Rueckert teaching_currentlectures

Course Content & Topics

Theoretical and practical aspects of computing and learning with neural networks. Investigation of the most commonly used algorithms for deep learning. From the practical perspective, various learning algorithms and types of neural networks will be implemented and applied to artificial and real-world problems. A list of the topics that will be covered is as follows:

  • Theoretical background on machine learning
  • Feedforward neural networks
    • Training methods, optimization algorithms
    • Regularization, generalization
    • Convolutional neural networks
  • Recurrent neural networks (LSTMs, GRUs, etc.)
  • Deep generative models
    • Variational autoencoders
    • Generative adversarial networks
    • Denoising diffusion probabilistic models
  • Attention & Transformers

Learning Objectives

After positive completion of the course, students will be able to:

  • Understand and apply the fundamental concepts of learning principles to implement commonly used architectures in deep learning and to develop novel architectures.
  • Design and train complex deep neural networks in supervised and unsupervised learning scenarios which requires a thorough theoretical and practical understanding of the algorithms.
  • Identify relevant and important features, benefits and limitations of different neural network models and algorithms, e.g., with respect to their practical, generalization- and regularization abilities.
  • Apply state-of-the-art deep learning methods to different problems and to analyze, monitor and visualize the models’ performance and limitations.

Location & Time

Location: Seminarraum (84DIEG007), Haus der Digitalisierung, Roseggerstraße 11
Time: Tuesdays & Thursdays 09:30 – 12:00. Detailed plan can be found here.

Grading

* Continuous assessment and written exam: Details will be presented in the first lecture unit.

* Task assignments: Several practical assignments have to be implemented. For each assignment a written report and/or slides have to be submitted. Details will be presented in the first lecture unit.

* Grading scheme: 0-49.9 Points (5), 50-62.4 Points (4), 62.5-74.9 Points (3), 75-87.4 Points (2), 87.5-100 Points (1)

(With an overall score of up to 75%, an additional oral performance review MAY (!) also be required if the positive performance record is not clear. In this case, you will be informed as soon as the grades are released. If you have already received a grade via MU online, you will not be invited to another oral performance review.)

Prerequisites

  • Formal prerequisite: Introduction to Machine Learning VU (“190.018”) or L+P (“190.012” and “190.013”).
  • Recommended prerequisites: Good Python programming skills, Fundamentals of Probability Theory, Basic Algebra & Vector Calculus.

Literature

– Ian Goodfellow, Yoshua Bengio and Aaron Courville, “Deep Learning”, 2016.
– Christopher M Bishop, “Pattern Recognition and Machine Learning”, 2006.

B.Sc. Thesis: Reineke Peter on Deep Learning for Predicting Fluid Dynamics

Elmar Rueckert teaching_currentthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Project: K1-MET P3.4
Start date: 1st of May 2024

Theoretical difficulty: high
Practical difficulty: mid

Topic

The the steel production, the steel quality heavily depends on the dynamic processes of the meniscus level fluctuations in the mold. These complex dynamic  processes can be observed using IR cameras observing the surface level and the casting powder temperature. 

The goal of this thesis is to develop and compare deep learning approaches (CNNs, transformers) for predicting fluid dynamics in lab prototype environment. 

Tasks

  • Literature research of state of the art, see references
  • Lab prototype environment for generating complex (structured and chaotic) fluid dynamics
  • Dataset recording, visualization and annotation
  • Deep Learning algorithm implementation (CNNs & Transformers)
  • Evaluation on different datasets (predictable dynamics, complex dynamics, synchronous and async. surface level dynamics, chaotic dynamics).
  • Thesis writing.

References

B.Sc. Thesis: Sukal Tanja on Creating a Python development environment for LEGO Ev3 robot systems

Elmar Rueckert teaching_currentthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Start date: 1st of August 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

LEGO Ev3 Robotersysteme werden am Lehrstuhl in der Lehre eingesetzt, um einen einfachen Einstieg in die Robotik zu ermöglichen. Zahlreiche Algorithmen können erprobt werden: 

  • Pfadplanung und Navigation
  • Kalman Filter
  • Kartierung / SLAM
  • Objektmanipulation 
  • Kamerabasierte Objekterkennung
  • Regelungsalgorithmen
  • Telemetrieaufgaben
  • usw.

Unsere EV3 Systeme sind mit einem Linux Betriebsystem (https://www.ev3dev.org) ausgestattet und können in der Programmiersprache Micro-Python bespielt werden. 

Ziel dieser Arbeit ist es eine Entwicklungsumgebung für die klassische Python Programmiersprache zu schaffen. Dabei sollen Beispielprojekte umgesetzt und Limitierungen dokumentiert werden. 

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Beispielprojekte Implementieren
  • Git Repository mit Dokumentation erstellen.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung einer Entwicklungsumgebung in Python für die Lehre. 
  • Veröffentlichung des Source Codes. 

M.Sc. Thesis: Einberger Stefan on Retrofitting of a Cyber-Physical System to a reactive molding machine for thermoset resins

Elmar Rueckert teaching_currentthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Company: Ottronic GmbH
Start date: 1st of October 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

Bei Ottronic bildet die Verkapselung unserer Elektroniken und Motoren mittels eines eigens adaptierten Reactive Injection Molding (RIM) Verfahren die Grundlage für die Produktion von medienresistenten Elektroniken und elektrischen Hochleistungsantrieben. Im Zuge des RIM werden sogenannte b-staged Duroplaste unter einem präzisen Druck- und Temperaturprofil verarbeitet, geformt und final ausgehärtet. Um die angestrebte höchste Produktqualität, mit Blick auf Medizintechnik-Applikationen, zu gewährleisten, muss dieser Prozess mit jedem Schuss optimal eingestellt sein. Daher soll ein Cyber Physical System (CPS) entwickelt werden, welches auf unsere RIM-Anlagen nachgerüstet wird.

Ziel der Diplomarbeit ist, dass das finale CPS selbstständig Prozessschwankungen (Chargenschwankungen, Hallen-/Maschinentemperatur, Feuchte, etc.) erkennen kann und Regelparameter des Spritzgussvorgangs (Schmelzzeit, Aushärtezeit, Einpresskraft, etc.) anpassen um eine gleichbleibende Produktqualität ohne menschliche Kontrolle zu garantieren.

Dabei soll in einem ersten Schritt der aktuelle Prozess beschrieben werden. Daraus sollen die notwendigen Produktionsparameter abgeleitet und deren Auswirkungen auf den Prozess analysiert sowie die Kernpunkte zur Prozessoptimierung definiert werden, sowie ein Modell dafür entwickelt werden. Das zu entwickelnde Modell dient dann in weitere Folge als Basis für das CPS um den Prozess zu bewerten zu können, Abweichungen zu detektieren und Regelparameter abzuändern.

In weiterer Folge soll das Modell auf der Maschinensteuerung CPS integriert und implementiert werden. Abschließend muss noch die Verknüpfung der neu gewonnen Intelligenz des CPS mit der aktuellen Regelung der Maschine verknüpft werden um eine nahezu autonome Prozessführung zu garantieren, sowie eine neue ressourcen- als auch energieeffizientere Spritzpressmethode garantieren.

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Erfassung aller notwendigen Produktionsparameter sowie Analyse derer auf Produktqualität
  • Entwicklung eines Modelles zur virtuellen Beschreibung des Spitzgussprozesses Implementierung des Modells auf Maschinensteuerung als Basis für ein CPS
  • Identifizierungen von Abweichungen im Prozess sowie Implementierung von Gegenmaßnahmen
  • Verknüpfung der Prozessregelung mit Steuerungsempfehlungen des CPS.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung eines CPS, welches einen RIM Prozesses erfassen und abbilden kann.
  • Aufbau von Methoden um auf Basis des CPS Änderungen des RIM-Prozesses erkennen und bewerten zu können
  • Retrofitting der gewonnen Intelligenz in eine bestehende Maschinensteuerung

Lange Nacht der Froschung – 24th of May 2024

Elmar Rueckert events

Date & Location: 24.05.2024 17:00-21:00

We expect many visitors and will prepare some beverages. Please let us know if you plan to join! 

Chair of Cyber-Physical-Systems 
Metallurgiegebäude 1.Stock
Montanuniversität Leoben
Franz-Josef-Straße 18,
8700 Leoben, Austria

Impressions of the last open lab day in 2024.  

English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.

Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.

The pictures above are from October 2023 and will be updated after the event. 

Program

Dr. Ozan Özdenizci

Elmar Rueckert people_groupleader

Short Bio

Ozan Özdenizci is a research group leader at the Chair of Cyber-Physical-Systems at the Montanuniversität Leoben in Austria, since April 2024. Prior to joining CPS, he was a postdoctoral researcher at the Institute of Theoretical Computer Science at Graz University of Technology. He received his PhD in electrical engineering from Northeastern University (Boston, MA, USA) in 2020, and his BSc and MSc degrees from Sabancı University (Istanbul, Turkey). His research is focused in the domain of robust, secure and efficient deep learning algorithms for reliable artificial intelligence systems, and statistical signal processing with biomedical applications.

Research Interests​

Machine learning, security and privacy in deep learning, adversarial machine learning, resource-efficient learning algorithms, brain-inspired neural computation, generative artificial intelligence, statistical signal processing, biomedical and neural data analysis, neuroinformatics.

Contact

Dr. Ozan Özdenizci
Research Group Leader at the Chair of Cyber-Physical-Systems
Montanuniversität Leoben
Franz-Josef-Straße 18, 
8700 Leoben, Austria 

Phone:  +43 3842 402 – 1903
Email: ozan.oezdenizci@unileoben.ac.at
Chat: WEBEX

Selected Publications

[1] O. Özdenizci, R. Legenstein, “Adversarially robust spiking neural networks through conversion”, Transactions on Machine Learning Research, 2024.

[2] O. Özdenizci, R. Legenstein, “Restoring vision in adverse weather conditions with patch-based denoising diffusion models”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023.

[3] O. Özdenizci, R. Legenstein, “Improving robustness against stealthy weight bit-flip attacks by output code matching”, CVPR 2022.

[4] O. Özdenizci, R. Legenstein, “Training adversarially robust sparse networks via Bayesian connectivity sampling”, ICML 2021.

[5] O. Özdenizci, Y. Wang, T. Koike-Akino, D. Erdogmus, “Learning invariant representations from EEG via adversarial inference”, IEEE Access, 2020.

[6] O. Özdenizci, D. Erdogmus, “Information theoretic feature transformation learning for brain interfaces”, IEEE Transactions on Biomedical Engineering, 2019.

[7] O. Özdenizci, M. Yalcin, A. Erdogan, V. Patoglu, M. Grosse-Wentrup, M. Cetin, “Electroencephalographic identifiers of motor adaptation learning”, Journal of Neural Engineering, 2017.

A complete list of publications can be found on Google Scholar.

150.033 Do-it Lab IDS 3 (1SH P, SS )

Elmar Rueckert teaching_currentseminars

You have no prior experience with deep learning or robots but would like to work with them?

If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.

You will use Python for programming. Prior experience is beneficial but not mandatory. 

At the end of the practical project, we discuss your achievements and what you have learnt.

You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.

The project is based on code examples, wiki pages and video tutorials for non-experts.

Links and Resources

Location & Time

Learning objectives / qualifications

  • Students get a practical experience in working, programming and understanding autonomous robots in navigation and obstacle avoidance tasks.
  • Students understand and can apply classical robot path planning and navigation algorithms.
  • Students learn how to present their implementation, assumptions and achievements.

ROS2-based Human-Robot Interaction Framework with Sign Language

Elmar Rueckert teaching_pastthesestopics

Supervisor: Fotios Lygerakis and Prof. Elmar Rueckert

Start Date: 1st March 2023

Theoretical difficulty: low
Practical difficulty: mid

Abstract

As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction. 

By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.

DALL·E 2023-02-09 17.32.48 - robot hand communicating with sign language

Thesis

ROS2-based Human-Robot Interaction Framework with Sign Language

Project Description

The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.

This project will encompass 4 crucial elements.

  1. Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
    • Letter-level
    • Word/Gloss-level
  2. Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
  3. Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
    • Human Gesture Imitation
    • Behavior Cloning
    • Offline Reinforcement Learning
  4. Software Engineering – Create a seamless human-robot interaction framework using sign language.
    • Develop a ROS-2 framework
    • Develop a robot digital twin on simulation
  5. Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
1024-1364
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent