image_pdfimage_print

B.Sc. Thesis: Reineke Peter on Deep Learning for Predicting Fluid Dynamics

Supervisor: Univ.-Prof. Dr Elmar Rückert

Project: K1-MET P3.4
Start date: 1st of May 2024

Theoretical difficulty: high
Practical difficulty: mid

Topic

The the steel production, the steel quality heavily depends on the dynamic processes of the meniscus level fluctuations in the mold. These complex dynamic  processes can be observed using IR cameras observing the surface level and the casting powder temperature. 

The goal of this thesis is to develop and compare deep learning approaches (CNNs, transformers) for predicting fluid dynamics in lab prototype environment. 

Tasks

  • Literature research of state of the art, see references
  • Lab prototype environment for generating complex (structured and chaotic) fluid dynamics
  • Dataset recording, visualization and annotation
  • Deep Learning algorithm implementation (CNNs & Transformers)
  • Evaluation on different datasets (predictable dynamics, complex dynamics, synchronous and async. surface level dynamics, chaotic dynamics).
  • Thesis writing.

References

B.Sc. Thesis: Sukal Tanja on Creating a Python development environment for LEGO Ev3 robot systems

Supervisor: Univ.-Prof. Dr Elmar Rückert

Start date: 1st of August 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

LEGO Ev3 Robotersysteme werden am Lehrstuhl in der Lehre eingesetzt, um einen einfachen Einstieg in die Robotik zu ermöglichen. Zahlreiche Algorithmen können erprobt werden: 

  • Pfadplanung und Navigation
  • Kalman Filter
  • Kartierung / SLAM
  • Objektmanipulation 
  • Kamerabasierte Objekterkennung
  • Regelungsalgorithmen
  • Telemetrieaufgaben
  • usw.

Unsere EV3 Systeme sind mit einem Linux Betriebsystem (https://www.ev3dev.org) ausgestattet und können in der Programmiersprache Micro-Python bespielt werden. 

Ziel dieser Arbeit ist es eine Entwicklungsumgebung für die klassische Python Programmiersprache zu schaffen. Dabei sollen Beispielprojekte umgesetzt und Limitierungen dokumentiert werden. 

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Beispielprojekte Implementieren
  • Git Repository mit Dokumentation erstellen.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung einer Entwicklungsumgebung in Python für die Lehre. 
  • Veröffentlichung des Source Codes. 

M.Sc. Thesis: Einberger Stefan on Retrofitting of a Cyber-Physical System to a reactive molding machine for thermoset resins

Supervisor: Univ.-Prof. Dr Elmar Rückert

Company: Ottronic GmbH
Start date: 1st of October 2023

Theoretical difficulty: mid
Practical difficulty: mid

Thema der Arbeit

Bei Ottronic bildet die Verkapselung unserer Elektroniken und Motoren mittels eines eigens adaptierten Reactive Injection Molding (RIM) Verfahren die Grundlage für die Produktion von medienresistenten Elektroniken und elektrischen Hochleistungsantrieben. Im Zuge des RIM werden sogenannte b-staged Duroplaste unter einem präzisen Druck- und Temperaturprofil verarbeitet, geformt und final ausgehärtet. Um die angestrebte höchste Produktqualität, mit Blick auf Medizintechnik-Applikationen, zu gewährleisten, muss dieser Prozess mit jedem Schuss optimal eingestellt sein. Daher soll ein Cyber Physical System (CPS) entwickelt werden, welches auf unsere RIM-Anlagen nachgerüstet wird.

Ziel der Diplomarbeit ist, dass das finale CPS selbstständig Prozessschwankungen (Chargenschwankungen, Hallen-/Maschinentemperatur, Feuchte, etc.) erkennen kann und Regelparameter des Spritzgussvorgangs (Schmelzzeit, Aushärtezeit, Einpresskraft, etc.) anpassen um eine gleichbleibende Produktqualität ohne menschliche Kontrolle zu garantieren.

Dabei soll in einem ersten Schritt der aktuelle Prozess beschrieben werden. Daraus sollen die notwendigen Produktionsparameter abgeleitet und deren Auswirkungen auf den Prozess analysiert sowie die Kernpunkte zur Prozessoptimierung definiert werden, sowie ein Modell dafür entwickelt werden. Das zu entwickelnde Modell dient dann in weitere Folge als Basis für das CPS um den Prozess zu bewerten zu können, Abweichungen zu detektieren und Regelparameter abzuändern.

In weiterer Folge soll das Modell auf der Maschinensteuerung CPS integriert und implementiert werden. Abschließend muss noch die Verknüpfung der neu gewonnen Intelligenz des CPS mit der aktuellen Regelung der Maschine verknüpft werden um eine nahezu autonome Prozessführung zu garantieren, sowie eine neue ressourcen- als auch energieeffizientere Spritzpressmethode garantieren.

Aufgaben

  • Recherche und Dokumentation zur State-of-the-Art
  • Erfassung aller notwendigen Produktionsparameter sowie Analyse derer auf Produktqualität
  • Entwicklung eines Modelles zur virtuellen Beschreibung des Spitzgussprozesses Implementierung des Modells auf Maschinensteuerung als Basis für ein CPS
  • Identifizierungen von Abweichungen im Prozess sowie Implementierung von Gegenmaßnahmen
  • Verknüpfung der Prozessregelung mit Steuerungsempfehlungen des CPS.
  • Dokumentation der Arbeitsschritte & Verfassen der Diplomarbeit

Wissenschaftlicher Beitrag

  • Entwicklung und Implementierung eines CPS, welches einen RIM Prozesses erfassen und abbilden kann.
  • Aufbau von Methoden um auf Basis des CPS Änderungen des RIM-Prozesses erkennen und bewerten zu können
  • Retrofitting der gewonnen Intelligenz in eine bestehende Maschinensteuerung

Lange Nacht der Froschung – 24th of May 2024

Date & Location: 24.05.2024 17:00-21:00

We expect many visitors and will prepare some beverages. Please let us know if you plan to join! 

Chair of Cyber-Physical-Systems 
Metallurgiegebäude 1.Stock
Montanuniversität Leoben
Franz-Josef-Straße 18,
8700 Leoben, Austria

Impressions of the last open lab day in 2023. 

English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.

Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.

The pictures above are from October 2023 and will be updated after the event. 

Program

Dr. Ozan Özdenizci

Short Bio

Ozan Özdenizci is a research group leader at the Chair of Cyber-Physical-Systems at the Montanuniversität Leoben in Austria, since April 2024. Prior to joining CPS, he was a postdoctoral researcher at the Institute of Theoretical Computer Science at Graz University of Technology. He received his PhD in electrical engineering from Northeastern University (Boston, MA, USA) in 2020, and his BSc and MSc degrees from Sabancı University (Istanbul, Turkey). His research is focused in the domain of robust, secure and efficient deep learning algorithms for reliable artificial intelligence systems, and statistical signal processing with biomedical applications.

Research Interests​

Machine learning, security and privacy in deep learning, adversarial machine learning, resource-efficient learning algorithms, brain-inspired neural computation, generative artificial intelligence, statistical signal processing, biomedical and neural data analysis, neuroinformatics.

Contact

Dr. Ozan Özdenizci
Research Group Leader at the Chair of Cyber-Physical-Systems
Montanuniversität Leoben
Franz-Josef-Straße 18, 
8700 Leoben, Austria 

Phone:  +43 3842 402 – 1903
Email: ozan.oezdenizci@unileoben.ac.at
Chat: WEBEX

Selected Publications

[1] O. Özdenizci, R. Legenstein, “Adversarially robust spiking neural networks through conversion”, Transactions on Machine Learning Research, 2024.

[2] O. Özdenizci, R. Legenstein, “Restoring vision in adverse weather conditions with patch-based denoising diffusion models”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023.

[3] O. Özdenizci, R. Legenstein, “Improving robustness against stealthy weight bit-flip attacks by output code matching”, CVPR 2022.

[4] O. Özdenizci, R. Legenstein, “Training adversarially robust sparse networks via Bayesian connectivity sampling”, ICML 2021.

[5] O. Özdenizci, Y. Wang, T. Koike-Akino, D. Erdogmus, “Learning invariant representations from EEG via adversarial inference”, IEEE Access, 2020.

[6] O. Özdenizci, D. Erdogmus, “Information theoretic feature transformation learning for brain interfaces”, IEEE Transactions on Biomedical Engineering, 2019.

[7] O. Özdenizci, M. Yalcin, A. Erdogan, V. Patoglu, M. Grosse-Wentrup, M. Cetin, “Electroencephalographic identifiers of motor adaptation learning”, Journal of Neural Engineering, 2017.

A complete list of publications can be found on Google Scholar.

150.033 Do-it Lab IDS 3 (1SH P, SS )

You have no prior experience with deep learning or robots but would like to work with them?

If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.

You will use Python for programming. Prior experience is beneficial but not mandatory. 

At the end of the practical project, we discuss your achievements and what you have learnt.

You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.

The project is based on code examples, wiki pages and video tutorials for non-experts.

Links and Resources

Location & Time

Learning objectives / qualifications

  • Students get a practical experience in working, programming and understanding autonomous robots in navigation and obstacle avoidance tasks.
  • Students understand and can apply classical robot path planning and navigation algorithms.
  • Students learn how to present their implementation, assumptions and achievements.

ROS2-based Human-Robot Interaction Framework with Sign Language

Supervisor: Fotios Lygerakis and Prof. Elmar Rueckert

Start Date: 1st March 2023

Theoretical difficulty: low
Practical difficulty: mid

Abstract

As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction. 

By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.

DALL·E 2023-02-09 17.32.48 - robot hand communicating with sign language

Thesis

Project Description

The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.

This project will encompass 4 crucial elements.

  1. Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
    • Letter-level
    • Word/Gloss-level
  2. Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
  3. Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
    • Human Gesture Imitation
    • Behavior Cloning
    • Offline Reinforcement Learning
  4. Software Engineering – Create a seamless human-robot interaction framework using sign language.
    • Develop a ROS-2 framework
    • Develop a robot digital twin on simulation
  5. Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
1024-1364
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent

Nachhaltige Nutzung von Aushubmaterialien des Tief- & Tunnelbaus mithilfe sensorgestützter Technologien (NNATT)

FFG Leitprojekt 01/2024-12/2026

Aushubmaterialien machen mit rund 42 Mio. t/a fast 60 % des österreichischen Abfallaufkommens aus, von denen 73 % deponiert und nur 8 % in Behandlungsanlagen eingebracht (BMK, 2021) und deren Outputströme größtenteils einer geringwertigen Verwendung, z.B. Untergrundverfüllung, zugeführt werden. Gleichzeitig werden in Österreich 55 Mio. t/a grundeigene mineralischer Rohstoffe abgebaut (Statista, 2022). Ursache für diese Diskrepanz sind die Herausforderungen bei der Materialdisposition, aber auch die günstige (ALSAG-freie) Deponierung von nicht kontaminierten Aushubmaterialien. Somit stellt die Verwendung von Aushubmaterialien einen ungenutzten Beitrag zur Kreislaufwirtschaft dar, welcher sich vor allem in der Schonung heimischer Ressourcen und in der Minimierung des CO2 Ausstoß von Tiefbauprojekten bemerkbar macht (Galler, 2015).

Projektziele

  • Erörterung von nachhaltigen Verwertungswegen aufgrund der geotechnischen, mineralogischen, petrographischen, geochemischen und hydrogeologischen Ergebnisse aus der geologischen Vorerkundung von geplanten und im Projekt bearbeiteten Tief- und Tunnelbaustellen
  • Sensorbasierte Stoffstromcharakterisierung mittels online-Analyse von Wert- bzw Störstoffen durch LIBS und HyperSpecs sowie mineralogische Zusammensetzung durch Raman Spektroskopie am Förderband unter realen Bedingungen in der Tunnelforschungsanlage „Zentrum am Berg“ der MUL
  • Entwicklung eines Qualitätssicherungssystems durch Erstellung eines Klassifikationsmodells, welches das Material durch KI-gestützten Abgleich der Ergebnisse der online Analyse mit gesetzlichen Anforderungen verschiedenen Recyclingpfaden bzw. Deponieklassen zuführt
  • Baustofftechnische Überprüfung der aus dem Aushubmaterial hergestellten Produkte

Projekt Consortium

  • Montanuniversität Leoben
    • Lehrstuhl für Subsurface Engineering (Koordinator)
    • Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
    • Lehrstuhl für Cyber-Physical-Systems
  • AGIR Austria GmbH
  • AiDEXA GmbH
  • LSA Laser Analytical Systems & Automations GmbH
  • Austin Powder GmbH
  • Master Builder Solutions
  • Edaphos Engineering
  • Daxner & Merl
  • Universität Innsbruck, Materialtechnologie Innsbruck (MTI)
  • ÖBB-Infrastruktur AG

Fördergeber

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)

Project Information

In the NNATT project model research and experimental work is conducted to identify tunnel- and excavated material with sensor based classification and deep learning. Representative tunnel- and excavation material from Austria is sampled, mineralogically, chemically and geotechnically characterized, sensor based measured in preliminary tests and finally applied in a conceptual pilot plant for material classification at the Zentrum am Berg in Eisenerz. Additionally, the project focuses on opportunities for application in alternative building materials, resulting in saving of primary raw materials and the associated reduction of CO2 emissions.

In 2021, excavated materials, such as tunnel excavation, accounted for around 46.1 million tons, or 60% of Austria’s total waste. Our project proposes an innovative solution for the recycling of excavated materials from tunneling and construction projects by using spectral imaging technology data in deep neural networks to predict rocks and their recycling potentials. By implementing real-time material identification on a conveyor belt based on deep neural networks, we aim to feed the excavated material into a recycling chain. This cutting-edge technology enables us to identify the resources potential of the material, facilitating efficient processing and sorting both on-site and off-site.

The objectives of our project are fourfold: to conserve valuable resources in Austria by maximizing material reuse, to reduce the burden on landfills by minimizing waste disposal, to shorten transportation routes and decrease CO2 emissions associated with material transport, and to promote sustainable practices within the construction industry.

Through the integration of advanced technology and a commitment to sustainability, our project represents a significant step towards creating a future in which excavated material is considered a valuable resource that contributes to a circular economy.

Poster

Science 4 Technology @ MUL: Click here for poster
Exner Poster Session: Click here for poster

K1-MET P3.4: Hybrid Modelling

FFG K1-MET Project 07/2023-06/2026

This project aims at employing advanced data analyses and methodology in order to investigate process data from different processes in the steelmaking chain, generating process understanding and knowledge on correlations and causations in operation, as well as develop recommendation or warning systems for the operator in order to adjust and improve operation. Topics range from questions on operation and stability of the blast furnace (BF), to the production of ultra-clean steels with Ruhrstahl-Heraeus (RH) treatment and the optimization of the continuous casting (CC) process.

Work Packages

  • WP1-4: Temperature irregularities in BF bottom/ hearth, mass balance of zinc and alkali elements, investigations of BF charging models/ charging profile, raceway monitoring analyses
  • WP5: Image analysis and state classification at the RH plant
  • WP6: Hybrid Mold – Data evaluations around the CC process

Expected Results

  • (WP1-4) Blast furnace: Prediction of temperature irregularities, mass balances in BF operation, charging models and development of optimized charging strategies, analyses of raceway blockages and possible correlations with process parameters and image material, predictive maintenance for tuyeres
  • (WP5) RH plant: Comprehensive benchmark case for machine learning algorithms, setup of an advisory algorithm for the operator to be warned of irregular states of the RH plant
  • (WP6) Continuous Casting: Modelling of heat transfers in the mold based on a hybrid approach, combining data from sensors in the CC mold with physical/ metallurgical-based process models

Project Consortium

  • Joanneum Research GmbH – Institute DIGITAL

  • Johannes Kepler University Linz – Department of Particulate Flow

  • Linz Center of Mechatronics – Area SENS

  • Montanuniversität Leoben

    •  Chair of Cyberphysical Systems

    • Chair of Ferrous Metallurgy

  • Primetals Technologies Austria GmbH

  • voestalpine Stahl GmbH

  • voestalpine Stahl Donawitz GmbH

Links

Details on the research project can be found on the project webpage.

Funding Agency

  • Österreichische Forschungsförderungsgesellschaft mbH (FFG)