Author: Elmar Rueckert

image_pdfimage_print

B.Sc. Thesis: Sukal Tanja on Creating a Python development environment for LEGO Ev3 robot systems

Elmar Rueckert teaching_pastthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Start date: 1st of August 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

LEGO Ev3 Robotersysteme werden am Lehrstuhl in der Lehre eingesetzt, um einen einfachen Einstieg in die Robotik zu ermöglichen. Zahlreiche Algorithmen können erprobt werden: 

  • Pfadplanung und Navigation
  • Kalman Filter
  • Kartierung / SLAM
  • Objektmanipulation 
  • Kamerabasierte Objekterkennung
  • Regelungsalgorithmen
  • Telemetrieaufgaben
  • usw.

Unsere EV3 Systeme sind mit einem Linux Betriebsystem (https://www.ev3dev.org) ausgestattet und können in der Programmiersprache Micro-Python bespielt werden. 

Ziel dieser Arbeit ist es eine Entwicklungsumgebung für die klassische Python Programmiersprache zu schaffen. Dabei sollen Beispielprojekte umgesetzt und Limitierungen dokumentiert werden. 

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Beispielprojekte Implementieren
  • Git Repository mit Dokumentation erstellen.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung einer Entwicklungsumgebung in Python für die Lehre. 
  • Veröffentlichung des Source Codes. 

Abschlussarbeit

B.Sc. Thesis by Tanja Sukal on Open-Source LEGO EV3 Python Framework for Teaching, 2024.

M.Sc. Thesis: Einberger Stefan on Retrofitting of a Cyber-Physical System to a reactive molding machine for thermoset resins

Elmar Rueckert teaching_pastthesestopics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Company: Ottronic GmbH
Start date: 1st of October 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

Bei Ottronic bildet die Verkapselung unserer Elektroniken und Motoren mittels eines eigens adaptierten Reactive Injection Molding (RIM) Verfahren die Grundlage für die Produktion von medienresistenten Elektroniken und elektrischen Hochleistungsantrieben. Im Zuge des RIM werden sogenannte b-staged Duroplaste unter einem präzisen Druck- und Temperaturprofil verarbeitet, geformt und final ausgehärtet. Um die angestrebte höchste Produktqualität, mit Blick auf Medizintechnik-Applikationen, zu gewährleisten, muss dieser Prozess mit jedem Schuss optimal eingestellt sein. Daher soll ein Cyber Physical System (CPS) entwickelt werden, welches auf unsere RIM-Anlagen nachgerüstet wird.

Ziel der Diplomarbeit ist, dass das finale CPS selbstständig Prozessschwankungen (Chargenschwankungen, Hallen-/Maschinentemperatur, Feuchte, etc.) erkennen kann und Regelparameter des Spritzgussvorgangs (Schmelzzeit, Aushärtezeit, Einpresskraft, etc.) anpassen um eine gleichbleibende Produktqualität ohne menschliche Kontrolle zu garantieren.

Dabei soll in einem ersten Schritt der aktuelle Prozess beschrieben werden. Daraus sollen die notwendigen Produktionsparameter abgeleitet und deren Auswirkungen auf den Prozess analysiert sowie die Kernpunkte zur Prozessoptimierung definiert werden, sowie ein Modell dafür entwickelt werden. Das zu entwickelnde Modell dient dann in weitere Folge als Basis für das CPS um den Prozess zu bewerten zu können, Abweichungen zu detektieren und Regelparameter abzuändern.

In weiterer Folge soll das Modell auf der Maschinensteuerung CPS integriert und implementiert werden. Abschließend muss noch die Verknüpfung der neu gewonnen Intelligenz des CPS mit der aktuellen Regelung der Maschine verknüpft werden um eine nahezu autonome Prozessführung zu garantieren, sowie eine neue ressourcen- als auch energieeffizientere Spritzpressmethode garantieren.

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Erfassung aller notwendigen Produktionsparameter sowie Analyse derer auf Produktqualität
  • Entwicklung eines Modelles zur virtuellen Beschreibung des Spitzgussprozesses Implementierung des Modells auf Maschinensteuerung als Basis für ein CPS
  • Identifizierungen von Abweichungen im Prozess sowie Implementierung von Gegenmaßnahmen
  • Verknüpfung der Prozessregelung mit Steuerungsempfehlungen des CPS.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung eines CPS, welches einen RIM Prozesses erfassen und abbilden kann.
  • Aufbau von Methoden um auf Basis des CPS Änderungen des RIM-Prozesses erkennen und bewerten zu können
  • Retrofitting der gewonnen Intelligenz in eine bestehende Maschinensteuerung

Booking a Trip for a Conference/Visit/Summer School

Elmar Rueckert wiki_phds

Put your documents at TravelApplications/drafts

Here: https://cloud.cps.unileoben.ac.at/index.php/f/977844

Create the folder with your name

 

Travel Planning Checklist

Approval and Registration

  • Initial Planning: Check for a reasonable flight itinerary. Check if 1-2 days before and after the event have a substantially lower price. 
  • Obtain Approval: Secure trip approval from Elmar. Argue according to the initial planning.
  • Travel System Entry: Request Regina to input the trip details into the travel system. Specify which days are for official duties (e.g., conference, lab visits) and which are for personal stay. Provide Regina with the proof of acceptance, or reason to travel.

Booking Essentials

  • Accommodation and Commute Options: Provide a comparison spreadsheet of different options within the budget. Opt for reasonable over the cheapest options.
  • Booking Approval: Get approved by Elmar.
  • Accommodations and Commute: After obtaining approval, book your stay, conference registration, accommodations, etc. 

Travel Insurance

  • Carry Insurance Documentation: If traveling abroad, particularly outside the EU, bring a printed copy of the university’s or other relevant insurance policy

Visa Requirements

  • Include Embassy Commute: If a visa is necessary, incorporate the embassy commute in the travel system and communicate this to the secretary for travel cost reimbursement.
  • Visa Application Time: Visa application efforts are recognized as working hours.

After the Travel

  • Receipts: After the end of the trip, provide Regina with all the receipts, invoices, and tickets from:
      • Airplanes, trains, buses, and boats: tickets, invoices, bank statement
      • Accommodation: invoice, bank statement
  • Registrations: invoice, bank statement
  • etc.

 

Important Notes

  • OEBB Trains: The chair has a membership with OBB, please book the ticket in the user’s name. You can obtain the user’s login information from Regina.
  • After the travel: Keep all original receipts and submit them to Regina after returning.
  • Report Everything: Due to Austrian law for work insurance coverage, you must inform Regina by email if you will be outside the university zone during working hours, even for a few hours.
  • Private Stay: A private stay cannot exceed 50% of the duration of the working days. For example, if a conference is for six days, your private stay must be a maximum of three days. Otherwise, the university will cover only 50% of the flight tickets and hotel.

Tips:

  • Credit card with travel coverage (check if hospitalization is included for overseas)

Organizing Wiki Page Categories

Elmar Rueckert wiki_phds

Here’s a guide on how to label your categories effectively:

  1. wiki_phds: This category should encompass all aspects of your day-to-day life as a PhD student.

  2. wiki_road_to_thesis: Include guidelines, tips, and resources related to various stages of thesis writing, from proposal development to final defense preparations.

  3. wiki_hard_software: Use this category to share information, tutorials, and updates about the hardware and software used in your research projects.

  4. wiki_scientific_research_aspects: Discuss methodologies, data analysis techniques, experimental setups, and anything else related to the scientific rigor of your work.

  5. wiki_teaching_aspects: This category is dedicated to sharing insights, strategies, and resources for effective teaching, whether it’s leading a seminar, designing a course, or mentoring undergraduates.

  6. wiki_career_aspects: This category covers everything related to career development and professional growth.

The category label determines where the post will appear in its respective section.

 

Lange Nacht der Froschung – 24th of May 2024

Elmar Rueckert events

Date & Location: 24.05.2024 17:00-21:00

We expect many visitors and will prepare some beverages. Please let us know if you plan to join! 

Chair of Cyber-Physical-Systems 
Metallurgiegebäude 1.Stock
Montanuniversität Leoben
Franz-Josef-Straße 18,
8700 Leoben, Austria

Impressions of the last open lab day in 2024.  

English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.

Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.

The pictures above are from October 2023 and will be updated after the event. 

Program

150.033 Do-it Lab IDS 3 (1SH P, SS )

Elmar Rueckert teaching_currentseminars

You have no prior experience with deep learning or robots but would like to work with them?

If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.

You will use Python for programming. Prior experience is beneficial but not mandatory. 

At the end of the practical project, we discuss your achievements and what you have learnt.

You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.

The project is based on code examples, wiki pages and video tutorials for non-experts.

Links and Resources

Location & Time

Learning objectives / qualifications

  • Students get a practical experience in working, programming and understanding autonomous robots in navigation and obstacle avoidance tasks.
  • Students understand and can apply classical robot path planning and navigation algorithms.
  • Students learn how to present their implementation, assumptions and achievements.

ROS2-based Human-Robot Interaction Framework with Sign Language

Elmar Rueckert teaching_pastthesestopics

Supervisor: Fotios Lygerakis and Prof. Elmar Rueckert

Start Date: 1st March 2023

Theoretical difficulty: low
Practical difficulty: mid

Abstract

As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction. 

By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.

DALL·E 2023-02-09 17.32.48 - robot hand communicating with sign language

Thesis

ROS2-based Human-Robot Interaction Framework with Sign Language

Project Description

The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.

This project will encompass 4 crucial elements.

  1. Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
    • Letter-level
    • Word/Gloss-level
  2. Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
  3. Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
    • Human Gesture Imitation
    • Behavior Cloning
    • Offline Reinforcement Learning
  4. Software Engineering – Create a seamless human-robot interaction framework using sign language.
    • Develop a ROS-2 framework
    • Develop a robot digital twin on simulation
  5. Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
1024-1364
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent