image_pdfimage_print

150.033 Do-it Lab IDS 3 (1SH P, SS )

You have no prior experience with deep learning or robots but would like to work with them?

If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.

You will use Python for programming. Prior experience is beneficial but not mandatory. 

At the end of the practical project, we discuss your achievements and what you have learnt.

You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.

The project is based on code examples, wiki pages and video tutorials for non-experts.

Links and Resources

Location & Time

Learning objectives / qualifications

  • Students get a practical experience in working, programming and understanding autonomous robots in navigation and obstacle avoidance tasks.
  • Students understand and can apply classical robot path planning and navigation algorithms.
  • Students learn how to present their implementation, assumptions and achievements.

ROS2-based Human-Robot Interaction Framework with Sign Language

Supervisor: Fotios Lygerakis and Prof. Elmar Rueckert

Start Date: 1st March 2023

Theoretical difficulty: low
Practical difficulty: mid

Abstract

As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction. 

By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.

DALL·E 2023-02-09 17.32.48 - robot hand communicating with sign language

Thesis

Project Description

The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.

This project will encompass 4 crucial elements.

  1. Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
    • Letter-level
    • Word/Gloss-level
  2. Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
  3. Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
    • Human Gesture Imitation
    • Behavior Cloning
    • Offline Reinforcement Learning
  4. Software Engineering – Create a seamless human-robot interaction framework using sign language.
    • Develop a ROS-2 framework
    • Develop a robot digital twin on simulation
  5. Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
1024-1364
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent

Nachhaltige Nutzung von Aushubmaterialien des Tief- & Tunnelbaus mithilfe sensorgestützter Technologien (NNATT)

FFG Leitprojekt 01/2024-12/2026

Aushubmaterialien machen mit rund 42 Mio. t/a fast 60 % des österreichischen Abfallaufkommens aus, von denen 73 % deponiert und nur 8 % in Behandlungsanlagen eingebracht (BMK, 2021) und deren Outputströme größtenteils einer geringwertigen Verwendung, z.B. Untergrundverfüllung, zugeführt werden. Gleichzeitig werden in Österreich 55 Mio. t/a grundeigene mineralischer Rohstoffe abgebaut (Statista, 2022). Ursache für diese Diskrepanz sind die Herausforderungen bei der Materialdisposition, aber auch die günstige (ALSAG-freie) Deponierung von nicht kontaminierten Aushubmaterialien. Somit stellt die Verwendung von Aushubmaterialien einen ungenutzten Beitrag zur Kreislaufwirtschaft dar, welcher sich vor allem in der Schonung heimischer Ressourcen und in der Minimierung des CO2 Ausstoß von Tiefbauprojekten bemerkbar macht (Galler, 2015).

Projektziele

  • Erörterung von nachhaltigen Verwertungswegen aufgrund der geotechnischen, mineralogischen, petrographischen, geochemischen und hydrogeologischen Ergebnisse aus der geologischen Vorerkundung von geplanten und im Projekt bearbeiteten Tief- und Tunnelbaustellen
  • Sensorbasierte Stoffstromcharakterisierung mittels online-Analyse von Wert- bzw Störstoffen durch LIBS und HyperSpecs sowie mineralogische Zusammensetzung durch Raman Spektroskopie am Förderband unter realen Bedingungen in der Tunnelforschungsanlage „Zentrum am Berg“ der MUL
  • Entwicklung eines Qualitätssicherungssystems durch Erstellung eines Klassifikationsmodells, welches das Material durch KI-gestützten Abgleich der Ergebnisse der online Analyse mit gesetzlichen Anforderungen verschiedenen Recyclingpfaden bzw. Deponieklassen zuführt
  • Baustofftechnische Überprüfung der aus dem Aushubmaterial hergestellten Produkte

Projekt Consortium

  • Montanuniversität Leoben
    • Lehrstuhl für Subsurface Engineering (Koordinator)
    • Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
    • Lehrstuhl für Cyber-Physical-Systems
  • AGIR Austria GmbH
  • AiDEXA GmbH
  • LSA Laser Analytical Systems & Automations GmbH
  • Austin Powder GmbH
  • Master Builder Solutions
  • Edaphos Engineering
  • Daxner & Merl
  • Universität Innsbruck, Materialtechnologie Innsbruck (MTI)
  • ÖBB-Infrastruktur AG

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

Project Information

In the NNATT project model research and experimental work is conducted to identify tunnel- and excavated material with sensor based classification and deep learning. Representative tunnel- and excavation material from Austria is sampled, mineralogically, chemically and geotechnically characterized, sensor based measured in preliminary tests and finally applied in a conceptual pilot plant for material classification at the Zentrum am Berg in Eisenerz. Additionally, the project focuses on opportunities for application in alternative building materials, resulting in saving of primary raw materials and the associated reduction of CO2 emissions.

In 2021, excavated materials, such as tunnel excavation, accounted for around 46.1 million tons, or 60% of Austria’s total waste. Our project proposes an innovative solution for the recycling of excavated materials from tunneling and construction projects by using spectral imaging technology data in deep neural networks to predict rocks and their recycling potentials. By implementing real-time material identification on a conveyor belt based on deep neural networks, we aim to feed the excavated material into a recycling chain. This cutting-edge technology enables us to identify the resources potential of the material, facilitating efficient processing and sorting both on-site and off-site.

The objectives of our project are fourfold: to conserve valuable resources in Austria by maximizing material reuse, to reduce the burden on landfills by minimizing waste disposal, to shorten transportation routes and decrease CO2 emissions associated with material transport, and to promote sustainable practices within the construction industry.

Through the integration of advanced technology and a commitment to sustainability, our project represents a significant step towards creating a future in which excavated material is considered a valuable resource that contributes to a circular economy.

Poster

Science 4 Technology @ MUL: Click here for poster
Exner Poster Session: Click here for poster

K1-MET P3.4: Hybrid Modelling

FFG K1-MET Project 07/2023-06/2026

This project aims at employing advanced data analyses and methodology in order to investigate process data from different processes in the steelmaking chain, generating process understanding and knowledge on correlations and causations in operation, as well as develop recommendation or warning systems for the operator in order to adjust and improve operation. Topics range from questions on operation and stability of the blast furnace (BF), to the production of ultra-clean steels with Ruhrstahl-Heraeus (RH) treatment and the optimization of the continuous casting (CC) process.

Work Packages

  • WP1-4: Temperature irregularities in BF bottom/ hearth, mass balance of zinc and alkali elements, investigations of BF charging models/ charging profile, raceway monitoring analyses
  • WP5: Image analysis and state classification at the RH plant
  • WP6: Hybrid Mold – Data evaluations around the CC process

Expected Results

  • (WP1-4) Blast furnace: Prediction of temperature irregularities, mass balances in BF operation, charging models and development of optimized charging strategies, analyses of raceway blockages and possible correlations with process parameters and image material, predictive maintenance for tuyeres
  • (WP5) RH plant: Comprehensive benchmark case for machine learning algorithms, setup of an advisory algorithm for the operator to be warned of irregular states of the RH plant
  • (WP6) Continuous Casting: Modelling of heat transfers in the mold based on a hybrid approach, combining data from sensors in the CC mold with physical/ metallurgical-based process models

Project Consortium

  • Joanneum Research GmbH – Institute DIGITAL

  • Johannes Kepler University Linz – Department of Particulate Flow

  • Linz Center of Mechatronics – Area SENS

  • Montanuniversität Leoben

    •  Chair of Cyberphysical Systems

    • Chair of Ferrous Metallurgy

  • Primetals Technologies Austria GmbH

  • voestalpine Stahl GmbH

  • voestalpine Stahl Donawitz GmbH

Links

Details on the research project can be found on the project webpage.

Funding Agency

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

KI basiertes Recycling von Metallverbund-Abfällen (KIRAMET)

FFG, BMVIT Leitprojekt 07/2023-06/2026

Die metallverarbeitende Industrie ist bei ihrer Produktion auf hochwertigen Metallschrott angewiesen. Derzeit muss dieser nach Österreich importiert werden. Mit Juli startet nun ein FFG-Leitprojekt, das mit Hilfe von Künstlicher Intelligenz das Recycling von Metallverbundabfällen verbessern will.

Vor dem Hintergrund des „Europäischen Green Deals“ und des Kreislaufwirtschaftspaketes müssen Ressourcenverbrauch (minus 25 Prozent) und CO2-Emissionen (minus 55 Prozent) bis 2030 drastisch reduziert und gleichzeitig die Ressourceneffizienz massiv gesteigert werden. Bei Metallen ist der Ökologische Fußabdruck durch den Rohstoffeinsatz besonders hoch, gleichzeitig sind sie ideale Kandidaten fürs Recycling. Genau hier setzt das neue FFG- Leitprojekt an, und will mit Künstlicher Intelligenz die Qualität der metallischen Abfälle steigern.

Haushaltsschrotte und Schrotte aus Altfahrzeugen sowie Elektro-Altgeräten zeichnen sich durch einen hohen Metallgehalt aus und haben daher großes Potenzial zum Recycling. Leider fallen diese Metalle nicht sortenrein an, sondern in Form von Kunststoffmetallverbunden oder Legierungsmischungen. „Derzeit werden die Metalle geschreddert und aufgrund der minderen Qualität ins Ausland exportiert,“ erklärt Dr. Alexia Tischberger-Aldrian, Projektverantwortliche seitens des Lehrstuhls für Abfallverwertungstechnik und Abfallwirtschaft. Gleichzeitig importiert Österreich höherwertigen Schrott, der für die Metallproduktion sehr wichtig ist.

Projektziele

  • Entwicklung einer KI unterstützten Sortierstraße zur Bereitstellung von definierten Metallfraktionen
  • Entwicklung einer Prozess Modellierungs- und Optimierungsumgebung zur Erstellung von digitalen Zwillingen zur Prozesssimulation und Ableitung optimaler Handlungsempfehlungen
  • Etablierung eines Datenflusses für recyclingrelevante Daten der im Projekt betrachteten Abfallströme
  • Entwicklung und Bereitstellung einer intelligenten Redyclingplattform zur übergeordneten Prozessseuerung und Vernetzung von Stakeholdern
  • Anwendung der entwickelten KI basierten Lösungen in relevanten Use Cases

Projekt Consortium

  • Montanuniversität Leoben (Koordinator)
    • Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
    • Lehrstuhl für Cyber-Physical-Systems
  • 7lytix gmbh
  • Fabasoft R&D GmbH
  • Bernegger GmbH
  • voestalpine High Performance Metals GmbH
  • Breitenfeld Edelstahl Aktiengesellschaft
  • METTOP GmbH
  • ETA Umweltmanagement GmbH
  • Nekonata XR Technologies GmbH
  • Mayer Recycling GmbH
  • BT-Wolfgang Binder GmbH
  • O.Ö. Landes-Abfallverwertungsunternehmen GmbH
  • K1-MET GmbH
  • Scholz Austria GmbH
  • Andritz AG
  • Software Competence Center Hagenberg GmbH
  • voestalpine Stahl GmbH
  • PROFACTOR GmbH
  • Salzburg Research Forschungsgesellschaft m.b.H.

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

  • Bundesministerium für Verkehr, Innovation und Technologie (BMVIT)

Open Lab Day – 20th of October 2023

Date & Location: 20.10.2023 15:00-19:00

Overall, we could host more than 150 visitors which made our open lab day a great success. 

Chair of Cyber-Physical-Systems 
Metallurgiegebäude 1.Stock
Montanuniversität Leoben
Franz-Josef-Straße 18,
8700 Leoben, Austria

Impressions of the last open lab day in 2023. 

English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.

Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.

Here we will put some pictures and videos of our open lab day on the 20th of October 2023.

Kosmo Obermayer (Apprentice)

Technician

Short bio: Mr. Kosmo Obermayer joined the CPS team in Sept. 2023 as apprentice for IT and telecommunication.  

At the chair of CPS, Mr. Obermayer manages our server and IT infrastructure, contributes to the creation of robotic systems, electronics, mechanical designs, and complex embedded systems. 

Research Interests

  • Cloud Computing & Server Architectures
  • IT infrastructure and networking
  • Development of Robotic Systems 

Contact

Mr. Kosmo Obermayer
Lehrling am Lehrstuhls für Cyber-Physical-Systems
Montanuniversität Leoben
Franz-Josef-Straße 18, 
8700 Leoben, Austria 

Phone:  +43 3842 402 – 1901
Email: kosmo.obermayer@unileoben.ac.at 
Web:  https://cps.unileoben.ac.at