Unikt AI-system utviklet for å styrke døve og hørselshemmede arbeidere på produksjonsgulvet

• Et nytt hjelpemiddel utviklet ved Norges teknisk-naturvitenskapelige universitet (NTNU) bruker AI, haptisk tilbakemelding og visuell veiledning for å fremme inkludering på fabrikkgulvet. 

Et system utviklet ved Norges teknisk-naturvitenskapelige universitet kan omdefinere inkludering i industrien. Hjelpesystemet for døve og hørselshemmede (DHH) er utviklet for å forbedre deltakelsen i industrielt arbeid ved å kombinere sikkerhet, kommunikasjon og opplæring i et brukbart, AI-støttet verktøy.

Karin Sofie Syversveen Lie har i sin masteroppgave utviklet et sanntids AI-drevet hjelpesystem for å støtte DHH-personer i industriell montering og arbeidere i områder med høy industriell støy, En løsning som er unik i verden. Beviset på konseptet for denne løsningen er beskrevet i hennes avhandling, med tittelen «Kommunikasjon hinsides lyd». Det introduserer et bærbart system som integrerer datasyn, sanntids taletranskripsjon og visuell oppgaveveiledning, og tilbyr DHH-arbeidere større uavhengighet, situasjonsbevissthet og kommunikasjonsevne på fabrikkgulvet.

"Så vidt vi vet, er dette det første systemet som kombinerer haptiske varsler, AI-drevet live transkripsjon og visuelle monteringsinstruksjoner i et enkelt hjelpemiddel som er skreddersydd for DHH-arbeidere i produksjon," sier han. Det gjør Karin Syversveen Lie. Det er et skritt på veien mot en inkluderende arbeidslivsfremtid, der ingen blir utelatt på grunn av sensoriske barrierer, sier han.

En ny standard for inkluderende produksjon

Systemet ble utviklet som en del av SkillAIbility-prosjektet, finansiert under Horizon Europe, og representerer en tidlig prototype for inkluderende, AI-drevet assistanse i industrielle miljøer. Prototypen inneholder:

• Et vibrerende belte drevet av datasyn for å varsle brukeren når noen nærmer seg fra venstre eller høyre, noe som øker sikkerheten og romlig bevissthet.
• En tale-til-tekst-modul basert på OpenAIs Whisper-modell gjør det mulig å transkribere muntlige instruksjoner i sanntid i støyende omgivelser.
• Et nettbasert treningsgrensesnitt gir intuitiv oppgavestøtte uten å stole på lyd eller skriftlige instruksjoner.

Testet med deltakere som simulerte hørselstap i en industriell setting, mottok systemet positive brukervennlighetsvurderinger og sterk brukertillit, til tross for begrensningene i prototyping i tidlig stadium. Nylig ble systemet også testet i en laboratorieinnstilling av en døv deltaker, som bekreftet nytten og ga verdifull tilbakemelding for videre utvikling.

Dette systemet har potensiale. Davy Van Landuyt, prosjektleder i Den europeiske døveunionen, som testet systemet. Med mer iterasjon og tilbakemeldinger fra døve og tunghørte arbeidere i reelle miljøer under utvikling, kan det bli nyttig for daglig arbeid i industrielle omgivelser.

Reagerer på økende behov

Innovasjonen kommer på et avgjørende tidspunkt: Personer som er DHH representerer en spesielt underserved gruppe. Globalt mer enn 5% Av befolkningen opplever omtrent 430 millioner mennesker, inkludert 34 millioner barn, invalidiserende hørselstap, med anslag som indikerer at dette tallet vil overgå 700 millioner innen 2050. Likevel er industrielle arbeidsplasser i stor grad utilgjengelige for personer med hørselshemming.

Innovasjonen passer direkte inn i det bredere SkillAIbility-prosjektet, som utforsker hvordan AI kan støtte inkluderende opplæring, reskilling og arbeidsplassintegrasjon for funksjonshemmede.

Prototypen kan bidra til:

• Utvikling av AI-støttede hjelpesystemer i SkillAIbilitys læringsfabrikkmiljøer, som muliggjør sikre og tilgjengelige arbeidsflyter for DHH-brukere.
• Utformingen av yrkesopplæringsprogrammer skreddersydd for døves behov, og tilbyr verktøy som støtter kommunikasjon, situasjonsbevissthet og oppgaveutførelse.
• Fremtidige pilotutplasseringer på tvers av industripartnere for å validere effektiviteten av inkluderende teknologi under reelle produksjonsforhold.

– Det Karin har bygget er mer enn en avhandling, det er en prototype for fremtidens inkluderende industri. Dette arbeidet er et reelt eksempel på hvordan SkillAIbility kan støtte innovasjon som direkte forbedrer egenkapitalen i industrien,” Sotirios Panagou, veileder og forsker ved NTNU.

Systemet ble bygget utelukkende med modulære, åpen kildekode-teknologier, og hele kildekoden og dokumentasjonen er offentlig tilgjengelig på GitHub, slik at andre kan replikere, tilpasse eller bygge videre på løsningen for bredere innvirkning i inkluderende produksjon.

Teamet som var en del av prototypeutviklingen består av: Karin Sofie Syversveen Lie, Sotirios Panagou (Logistics 4.0 Lab), Martin Francis Berg & Martin Steinert (TrollLabs), Patrick Mikalef (Institutt for informatikk ved NTNU, SINTEF Digital).

Løsningen er nå i ferd med å bli oppskalert.

Om ferdighetsevne

SkaillAIbilitet Horizon Europe er et forskningsprosjekt på € 3 millioner som fremmer menneske-sentriske tilnærminger til AI og automatisering i produksjon og produksjon. Forener 14 ledende organisasjoner i 9 europeiske land. Prosjektet vil utvikle nye måter for mennesker og maskiner å samarbeide effektivt på, samtidig som de setter arbeidernes velvære først, noe som er en del av EUs Industry 5.0-visjon. Dette initiativet fokuserer på å fremme menneske-AI-samarbeid innen produksjon for å skape mer inkluderende og bærekraftige arbeidsplasser. Prosjektet SKILLAIBILITY har fått støtte fra EUs forsknings- og innovasjonsprogram Horizon Europe under tilskuddsavtale nr. 101177783. Synspunkter og meninger som uttrykkes, er imidlertid bare forfatterens (e) og gjenspeiler ikke nødvendigvis Den europeiske unions synspunkter. Verken EU eller bevilgende myndighet kan holdes ansvarlig for dem. Dette arbeidet har fått støtte fra det sveitsiske statssekretariatet for utdanning, forskning og innovasjon (SERI). 

Om NTNU

Norges teknisk-naturvitenskapelige universitet (NTNU) er Norges ledende universitet innen teknologi og ingeniørfag. Med sterkt fokus på innovasjon og bærekraft samarbeider NTNU med næringsliv, offentlig sektor og samfunn for å skape kunnskap for en bedre verden. Finn ut mer på www.ntnu.edu.