image_pdfimage_print

150.033 Do-it Lab IDS 3 (1SH P, SS )

You have no prior experience with deep learning or robots but would like to work with them?

If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.

You will use Python for programming. Prior experience is beneficial but not mandatory. 

At the end of the practical project, we discuss your achievements and what you have learnt.

You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.

The project is based on code examples, wiki pages and video tutorials for non-experts.

Links and Resources

Location & Time

Learning objectives / qualifications

  • Students get a practical experience in working, programming and understanding autonomous robots in navigation and obstacle avoidance tasks.
  • Students understand and can apply classical robot path planning and navigation algorithms.
  • Students learn how to present their implementation, assumptions and achievements.

ROS2-based Human-Robot Interaction Framework with Sign Language

Supervisor: Fotios Lygerakis and Prof. Elmar Rueckert

Start Date: 1st March 2023

Theoretical difficulty: low
Practical difficulty: mid

Abstract

As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction. 

By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.

DALL·E 2023-02-09 17.32.48 - robot hand communicating with sign language

Thesis

Project Description

The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.

This project will encompass 4 crucial elements.

  1. Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
    • Letter-level
    • Word/Gloss-level
  2. Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
  3. Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
    • Human Gesture Imitation
    • Behavior Cloning
    • Offline Reinforcement Learning
  4. Software Engineering – Create a seamless human-robot interaction framework using sign language.
    • Develop a ROS-2 framework
    • Develop a robot digital twin on simulation
  5. Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
1024-1364
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent

Nachhaltige Nutzung von Aushubmaterialien des Tief- & Tunnelbaus mithilfe sensorgestützter Technologien (NNATT)

FFG Leitprojekt 01/2024-12/2026

Aushubmaterialien machen mit rund 42 Mio. t/a fast 60 % des österreichischen Abfallaufkommens aus, von denen 73 % deponiert und nur 8 % in Behandlungsanlagen eingebracht (BMK, 2021) und deren Outputströme größtenteils einer geringwertigen Verwendung, z.B. Untergrundverfüllung, zugeführt werden. Gleichzeitig werden in Österreich 55 Mio. t/a grundeigene mineralischer Rohstoffe abgebaut (Statista, 2022). Ursache für diese Diskrepanz sind die Herausforderungen bei der Materialdisposition, aber auch die günstige (ALSAG-freie) Deponierung von nicht kontaminierten Aushubmaterialien. Somit stellt die Verwendung von Aushubmaterialien einen ungenutzten Beitrag zur Kreislaufwirtschaft dar, welcher sich vor allem in der Schonung heimischer Ressourcen und in der Minimierung des CO2 Ausstoß von Tiefbauprojekten bemerkbar macht (Galler, 2015).

Projektziele

  • Erörterung von nachhaltigen Verwertungswegen aufgrund der geotechnischen, mineralogischen, petrographischen, geochemischen und hydrogeologischen Ergebnisse aus der geologischen Vorerkundung von geplanten und im Projekt bearbeiteten Tief- und Tunnelbaustellen
  • Sensorbasierte Stoffstromcharakterisierung mittels online-Analyse von Wert- bzw Störstoffen durch LIBS und HyperSpecs sowie mineralogische Zusammensetzung durch Raman Spektroskopie am Förderband unter realen Bedingungen in der Tunnelforschungsanlage „Zentrum am Berg“ der MUL
  • Entwicklung eines Qualitätssicherungssystems durch Erstellung eines Klassifikationsmodells, welches das Material durch KI-gestützten Abgleich der Ergebnisse der online Analyse mit gesetzlichen Anforderungen verschiedenen Recyclingpfaden bzw. Deponieklassen zuführt
  • Baustofftechnische Überprüfung der aus dem Aushubmaterial hergestellten Produkte

Projekt Consortium

  • Montanuniversität Leoben
    • Lehrstuhl für Subsurface Engineering (Koordinator)
    • Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
    • Lehrstuhl für Cyber-Physical-Systems
  • AGIR Austria GmbH
  • AiDEXA GmbH
  • LSA Laser Analytical Systems & Automations GmbH
  • Austin Powder GmbH
  • Master Builder Solutions
  • Edaphos Engineering
  • Daxner & Merl
  • Universität Innsbruck, Materialtechnologie Innsbruck (MTI)
  • ÖBB-Infrastruktur AG

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

K1-MET P3.4: Hybrid Modelling

FFG K1-MET Project 07/2023-06/2026

This project aims at employing advanced data analyses and methodology in order to investigate process data from different processes in the steelmaking chain, generating process understanding and knowledge on correlations and causations in operation, as well as develop recommendation or warning systems for the operator in order to adjust and improve operation. Topics range from questions on operation and stability of the blast furnace (BF), to the production of ultra-clean steels with Ruhrstahl-Heraeus (RH) treatment and the optimization of the continuous casting (CC) process.

Work Packages

  • WP1-4: Temperature irregularities in BF bottom/ hearth, mass balance of zinc and alkali elements, investigations of BF charging models/ charging profile, raceway monitoring analyses
  • WP5: Image analysis and state classification at the RH plant
  • WP6: Hybrid Mold – Data evaluations around the CC process

Expected Results

  • (WP1-4) Blast furnace: Prediction of temperature irregularities, mass balances in BF operation, charging models and development of optimized charging strategies, analyses of raceway blockages and possible correlations with process parameters and image material, predictive maintenance for tuyeres
  • (WP5) RH plant: Comprehensive benchmark case for machine learning algorithms, setup of an advisory algorithm for the operator to be warned of irregular states of the RH plant
  • (WP6) Continuous Casting: Modelling of heat transfers in the mold based on a hybrid approach, combining data from sensors in the CC mold with physical/ metallurgical-based process models

Project Consortium

  • Joanneum Research GmbH – Institute DIGITAL

  • Johannes Kepler University Linz – Department of Particulate Flow

  • Linz Center of Mechatronics – Area SENS

  • Montanuniversität Leoben

    •  Chair of Cyberphysical Systems

    • Chair of Ferrous Metallurgy

  • Primetals Technologies Austria GmbH

  • voestalpine Stahl GmbH

  • voestalpine Stahl Donawitz GmbH

Links

Details on the research project can be found on the project webpage.

Funding Agency

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

KI basiertes Recycling von Metallverbund-Abfällen (KIRAMET)

FFG, BMVIT Leitprojekt 07/2023-06/2026

Die metallverarbeitende Industrie ist bei ihrer Produktion auf hochwertigen Metallschrott angewiesen. Derzeit muss dieser nach Österreich importiert werden. Mit Juli startet nun ein FFG-Leitprojekt, das mit Hilfe von Künstlicher Intelligenz das Recycling von Metallverbundabfällen verbessern will.

Vor dem Hintergrund des „Europäischen Green Deals“ und des Kreislaufwirtschaftspaketes müssen Ressourcenverbrauch (minus 25 Prozent) und CO2-Emissionen (minus 55 Prozent) bis 2030 drastisch reduziert und gleichzeitig die Ressourceneffizienz massiv gesteigert werden. Bei Metallen ist der Ökologische Fußabdruck durch den Rohstoffeinsatz besonders hoch, gleichzeitig sind sie ideale Kandidaten fürs Recycling. Genau hier setzt das neue FFG- Leitprojekt an, und will mit Künstlicher Intelligenz die Qualität der metallischen Abfälle steigern.

Haushaltsschrotte und Schrotte aus Altfahrzeugen sowie Elektro-Altgeräten zeichnen sich durch einen hohen Metallgehalt aus und haben daher großes Potenzial zum Recycling. Leider fallen diese Metalle nicht sortenrein an, sondern in Form von Kunststoffmetallverbunden oder Legierungsmischungen. „Derzeit werden die Metalle geschreddert und aufgrund der minderen Qualität ins Ausland exportiert,“ erklärt Dr. Alexia Tischberger-Aldrian, Projektverantwortliche seitens des Lehrstuhls für Abfallverwertungstechnik und Abfallwirtschaft. Gleichzeitig importiert Österreich höherwertigen Schrott, der für die Metallproduktion sehr wichtig ist.

Projektziele

  • Entwicklung einer KI unterstützten Sortierstraße zur Bereitstellung von definierten Metallfraktionen
  • Entwicklung einer Prozess Modellierungs- und Optimierungsumgebung zur Erstellung von digitalen Zwillingen zur Prozesssimulation und Ableitung optimaler Handlungsempfehlungen
  • Etablierung eines Datenflusses für recyclingrelevante Daten der im Projekt betrachteten Abfallströme
  • Entwicklung und Bereitstellung einer intelligenten Redyclingplattform zur übergeordneten Prozessseuerung und Vernetzung von Stakeholdern
  • Anwendung der entwickelten KI basierten Lösungen in relevanten Use Cases

Projekt Consortium

  • Montanuniversität Leoben (Koordinator)
    • Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
    • Lehrstuhl für Cyber-Physical-Systems
  • 7lytix gmbh
  • Fabasoft R&D GmbH
  • Bernegger GmbH
  • voestalpine High Performance Metals GmbH
  • Breitenfeld Edelstahl Aktiengesellschaft
  • METTOP GmbH
  • ETA Umweltmanagement GmbH
  • Nekonata XR Technologies GmbH
  • Mayer Recycling GmbH
  • BT-Wolfgang Binder GmbH
  • O.Ö. Landes-Abfallverwertungsunternehmen GmbH
  • K1-MET GmbH
  • Scholz Austria GmbH
  • Andritz AG
  • Software Competence Center Hagenberg GmbH
  • voestalpine Stahl GmbH
  • PROFACTOR GmbH
  • Salzburg Research Forschungsgesellschaft m.b.H.

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

  • Bundesministerium für Verkehr, Innovation und Technologie (BMVIT)

Open Lab Day – 20th of October 2023

Date & Location: 20.10.2023 15:00-19:00

Overall, we could host more than 150 visitors which made our open lab day a great success. 

Chair of Cyber-Physical-Systems 
Metallurgiegebäude 1.Stock
Montanuniversität Leoben
Franz-Josef-Straße 18,
8700 Leoben, Austria

Impressions of the last open lab day in 2023. 

English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.

Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.

Here we will put some pictures and videos of our open lab day on the 20th of October 2023.

Kosmo Obermayer (Apprentice)

Technician

Short bio: Mr. Kosmo Obermayer joined the CPS team in Sept. 2023 as apprentice for IT and telecommunication.  

At the chair of CPS, Mr. Obermayer manages our server and IT infrastructure, contributes to the creation of robotic systems, electronics, mechanical designs, and complex embedded systems. 

Research Interests

  • Cloud Computing & Server Architectures
  • IT infrastructure and networking
  • Development of Robotic Systems 

Contact

Mr. Kosmo Obermayer
Lehrling am Lehrstuhls für Cyber-Physical-Systems
Montanuniversität Leoben
Franz-Josef-Straße 18, 
8700 Leoben, Austria 

Phone:  +43 3842 402 – 1901
Email: kosmo.obermayer@unileoben.ac.at 
Web:  https://cps.unileoben.ac.at