You have no prior experience with deep learning or robots but would like to work with them?
If so, this hands-on project will enable you to build and control your state-of-the-art robotic devices, such as compliant robot arms, five-fingered robot hands, mobile robots, legged robots, or tactile and visual sensors.
You will use Python for programming. Prior experience is beneficial but not mandatory.
At the end of the practical project, we discuss your achievements and what you have learnt.
You can work on your own or build a team of up to three people at most. We provide a student lab with high-performance pcs with RTX 4090 graphics cards and student rooms.
As the interaction with robots becomes an integral part of our daily lives, there is an escalating need for more human-like communication methods with these machines. This surge in robotic integration demands innovative approaches to ensure seamless and intuitive communication. Incorporating sign language, a powerful and unique form of communication predominantly used by the deaf and hard-of-hearing community, can be a pivotal step in this direction.
By doing so, we not only provide an inclusive and accessible mode of interaction but also establish a non-verbal and non-intrusive way for everyone to engage with robots. This evolution in human-robot interaction will undoubtedly pave the way for more holistic and natural engagements in the future.
The implementation of sign language in human-robot interaction will not only improve the user experience but will also advance the field of robotics and artificial intelligence.
This project will encompass 4 crucial elements.
Human Gesture Recognition with CNNs and/or Transformers – Recognizing human gestures in sign language through the development of deep learning methods utilizing a camera.
Letter-level
Word/Gloss-level
Chat Agent with Large Language Models (LLMs) – Developing a gloss chat agent.
Finger Spelling/Gloss gesture with Robot Hand/Arm-Hand –
Human Gesture Imitation
Behavior Cloning
Offline Reinforcement Learning
Software Engineering – Create a seamless human-robot interaction framework using sign language.
Develop a ROS-2 framework
Develop a robot digital twin on simulation
Human-Robot Interaction Evaluation – Evaluate and adopt the more human-like methods for more human-like interaction with a robotic signer.
Hardware Set-Up for Character-level Human-Robot Interaction with Sign language.
Example of letter-level HRI with sign language: Copying agent
Aushubmaterialien machen mit rund 42 Mio. t/a fast 60 % des österreichischen Abfallaufkommens aus, von denen 73 % deponiert und nur 8 % in Behandlungsanlagen eingebracht (BMK, 2021) und deren Outputströme größtenteils einer geringwertigen Verwendung, z.B. Untergrundverfüllung, zugeführt werden. Gleichzeitig werden in Österreich 55 Mio. t/a grundeigene mineralischer Rohstoffe abgebaut (Statista, 2022). Ursache für diese Diskrepanz sind die Herausforderungen bei der Materialdisposition, aber auch die günstige (ALSAG-freie) Deponierung von nicht kontaminierten Aushubmaterialien. Somit stellt die Verwendung von Aushubmaterialien einen ungenutzten Beitrag zur Kreislaufwirtschaft dar, welcher sich vor allem in der Schonung heimischer Ressourcen und in der Minimierung des CO2 Ausstoß von Tiefbauprojekten bemerkbar macht (Galler, 2015).
Projektziele
Erörterung von nachhaltigen Verwertungswegen aufgrund der geotechnischen, mineralogischen, petrographischen, geochemischen und hydrogeologischen Ergebnisse aus der geologischen Vorerkundung von geplanten und im Projekt bearbeiteten Tief- und Tunnelbaustellen
Sensorbasierte Stoffstromcharakterisierung mittels online-Analyse von Wert- bzw Störstoffen durch LIBS und HyperSpecs sowie mineralogische Zusammensetzung durch Raman Spektroskopie am Förderband unter realen Bedingungen in der Tunnelforschungsanlage „Zentrum am Berg“ der MUL
Entwicklung eines Qualitätssicherungssystems durch Erstellung eines Klassifikationsmodells, welches das Material durch KI-gestützten Abgleich der Ergebnisse der online Analyse mit gesetzlichen Anforderungen verschiedenen Recyclingpfaden bzw. Deponieklassen zuführt
Baustofftechnische Überprüfung der aus dem Aushubmaterial hergestellten Produkte
Projekt Consortium
Montanuniversität Leoben
Lehrstuhl für Subsurface Engineering (Koordinator)
Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
Lehrstuhl für Cyber-Physical-Systems
AGIR Austria GmbH
AiDEXA GmbH
LSA Laser Analytical Systems & Automations GmbH
Austin Powder GmbH
Master Builder Solutions
Edaphos Engineering
Daxner & Merl
Universität Innsbruck, Materialtechnologie Innsbruck (MTI)
In the NNATT project model research and experimental work is conducted to identify tunnel- and excavated material with sensor based classification and deep learning. Representative tunnel- and excavation material from Austria is sampled, mineralogically, chemically and geotechnically characterized, sensor based measured in preliminary tests and finally applied in a conceptual pilot plant for material classification at the Zentrum am Berg in Eisenerz. Additionally, the project focuses on opportunities for application in alternative building materials, resulting in saving of primary raw materials and the associated reduction of CO2 emissions.
In 2021, excavated materials, such as tunnel excavation, accounted for around 46.1 million tons, or 60% of Austria’s total waste. Our project proposes an innovative solution for the recycling of excavated materials from tunneling and construction projects by using spectral imaging technology data in deep neural networks to predict rocks and their recycling potentials. By implementing real-time material identification on a conveyor belt based on deep neural networks, we aim to feed the excavated material into a recycling chain. This cutting-edge technology enables us to identify the resources potential of the material, facilitating efficient processing and sorting both on-site and off-site.
The objectives of our project are fourfold: to conserve valuable resources in Austria by maximizing material reuse, to reduce the burden on landfills by minimizing waste disposal, to shorten transportation routes and decrease CO2 emissions associated with material transport, and to promote sustainable practices within the construction industry.
Through the integration of advanced technology and a commitment to sustainability, our project represents a significant step towards creating a future in which excavated material is considered a valuable resource that contributes to a circular economy.
This project aims at employing advanced data analyses and methodology in order to investigate process data from different processes in the steelmaking chain, generating process understanding and knowledge on correlations and causations in operation, as well as develop recommendation or warning systems for the operator in order to adjust and improve operation. Topics range from questions on operation and stability of the blast furnace (BF), to the production of ultra-clean steels with Ruhrstahl-Heraeus (RH) treatment and the optimization of the continuous casting (CC) process.
Work Packages
WP1-4: Temperature irregularities in BF bottom/ hearth, mass balance of zinc and alkali elements, investigations of BF charging models/ charging profile, raceway monitoring analyses
WP5: Image analysis and state classification at the RH plant
WP6: Hybrid Mold – Data evaluations around the CC process
Expected Results
(WP1-4) Blast furnace: Prediction of temperature irregularities, mass balances in BF operation, charging models and development of optimized charging strategies, analyses of raceway blockages and possible correlations with process parameters and image material, predictive maintenance for tuyeres
(WP5) RH plant: Comprehensive benchmark case for machine learning algorithms, setup of an advisory algorithm for the operator to be warned of irregular states of the RH plant
(WP6) Continuous Casting: Modelling of heat transfers in the mold based on a hybrid approach, combining data from sensors in the CC mold with physical/ metallurgical-based process models
Project Consortium
Joanneum Research GmbH – Institute DIGITAL
Johannes Kepler University Linz – Department of Particulate Flow
Linz Center of Mechatronics – Area SENS
Montanuniversität Leoben
Chair of Cyberphysical Systems
Chair of Ferrous Metallurgy
Primetals Technologies Austria GmbH
voestalpine Stahl GmbH
voestalpine Stahl Donawitz GmbH
Links
Details on the research project can be found on the project webpage.
Die metallverarbeitende Industrie ist bei ihrer Produktion auf hochwertigen Metallschrott angewiesen. Derzeit muss dieser nach Österreich importiert werden. Mit Juli startet nun ein FFG-Leitprojekt, das mit Hilfe von Künstlicher Intelligenz das Recycling von Metallverbundabfällen verbessern will.
Vor dem Hintergrund des „Europäischen Green Deals“ und des Kreislaufwirtschaftspaketes müssen Ressourcenverbrauch (minus 25 Prozent) und CO2-Emissionen (minus 55 Prozent) bis 2030 drastisch reduziert und gleichzeitig die Ressourceneffizienz massiv gesteigert werden. Bei Metallen ist der Ökologische Fußabdruck durch den Rohstoffeinsatz besonders hoch, gleichzeitig sind sie ideale Kandidaten fürs Recycling. Genau hier setzt das neue FFG- Leitprojekt an, und will mit Künstlicher Intelligenz die Qualität der metallischen Abfälle steigern.
Haushaltsschrotte und Schrotte aus Altfahrzeugen sowie Elektro-Altgeräten zeichnen sich durch einen hohen Metallgehalt aus und haben daher großes Potenzial zum Recycling. Leider fallen diese Metalle nicht sortenrein an, sondern in Form von Kunststoffmetallverbunden oder Legierungsmischungen. „Derzeit werden die Metalle geschreddert und aufgrund der minderen Qualität ins Ausland exportiert,“ erklärt Dr. Alexia Tischberger-Aldrian, Projektverantwortliche seitens des Lehrstuhls für Abfallverwertungstechnik und Abfallwirtschaft. Gleichzeitig importiert Österreich höherwertigen Schrott, der für die Metallproduktion sehr wichtig ist.
Projektziele
Entwicklung einer KI unterstützten Sortierstraße zur Bereitstellung von definierten Metallfraktionen
Entwicklung einer Prozess Modellierungs- und Optimierungsumgebung zur Erstellung von digitalen Zwillingen zur Prozesssimulation und Ableitung optimaler Handlungsempfehlungen
Etablierung eines Datenflusses für recyclingrelevante Daten der im Projekt betrachteten Abfallströme
Entwicklung und Bereitstellung einer intelligenten Redyclingplattform zur übergeordneten Prozessseuerung und Vernetzung von Stakeholdern
Anwendung der entwickelten KI basierten Lösungen in relevanten Use Cases
Projekt Consortium
Montanuniversität Leoben (Koordinator)
Lehrstuhl für Abfallverwertungstechnik und Abfallwirtschaft
Overall, we could host more than 150 visitors which made our open lab day a great success.
Chair of Cyber-Physical-Systems Metallurgiegebäude 1.Stock Montanuniversität Leoben Franz-Josef-Straße 18, 8700 Leoben, Austria
Impressions of the last open lab day in 2023.
English: Immerse yourself in the fascinating world of artificial intelligence and robotics. We present self-learning robots, mobile robot guides and how deep neural networks are learned. Children can experiment with our Lego EV3 robots and try to deliver snacks autonomously. Catering will be provided.
Deutsch: Tauchen Sie ein in die faszinierende Welt der künstlichen Intelligenz und Robotik. Wir präsentieren selbstlernende Roboter, mobile Roboterguides und wie tiefe neuronale Netze gelernt werden. Kinder können mit unseren Lego EV3 Robotern experimentieren und versuchen Snacks autonom auszuliefern. Für Verpflegung ist gesorgt.
Here we will put some pictures and videos of our open lab day on the 20th of October 2023.
Short bio: Mr. Kosmo Obermayer joined the CPS team in Sept. 2023 as apprentice for IT and telecommunication.
At the chair of CPS, Mr. Obermayer manages our server and IT infrastructure, contributes to the creation of robotic systems, electronics, mechanical designs, and complex embedded systems.
Research Interests
Cloud Computing & Server Architectures
IT infrastructure and networking
Development of Robotic Systems
Contact
Mr. Kosmo Obermayer Lehrling am Lehrstuhls für Cyber-Physical-Systems Montanuniversität Leoben Franz-Josef-Straße 18, 8700 Leoben, Austria