GiveAHand.ai: open-source handbibliotheek om AI te helpen gebarentaal te leren

De American Society for Deaf Children (ASDC) lanceert in samenwerking met Hello Monday/DEPT®, GiveAHand.ai, ‘s werelds grootste open-source beeldbank van handen – volledig getagd met data om betere handmodellen te bouwen.

Live audiotranscriptie en verhaaltools hebben beperkingen voor doven en slechthorenden, vanwege de complexe combinatie van snelle handgebaren, gezichtsuitdrukkingen en volledige lichaamsbeweging die bij gebarentaal komt kijken.

Detecteren van hand- en vingerbeweging

Hoewel modellen voor machine learning de gezichtsuitdrukkingen en lichaamsbeweging vaak goed kunnen verwerken, blijft het detecteren van hand- en vingerbewegingen een uitdaging. AI maakt de toegang tot gegevens gemakkelijk, zodat data op oneindig veel manieren kunnen worden gebruikt. Omdat de meeste beschikbare gebarentaaltools worden getraind met bestaande gegevens en beelden, is het moeilijk om bruikbare modellen voor machine learning te bouwen op basis van bronnen die niet direct toegankelijk zijn.

GiveAHand.ai gebruikt technologie om impact te maken. De 100% gecrowdsourcete data vormt een diverse dataset van handen met verschillende vormen, kleuren, achtergronden en gebaren. Iedereen kan zijn handen uit de mouwen steken en beelden uploaden om aan een uitgebreide beeldbank te bouwen. Onderzoekers kunnen deze getagde beelden downloaden en gebruiken om hun modellen voor machine learning te verbeteren. Hierdoor wordt de herkenning en vertaling van het volledige spectrum van gebarentaal mogelijk.

Gebarentaalalfabet

GiveAHand.ai is de tweede samenwerking tussen Hello Monday/DEPT® en ASDC. In 2021 lanceerden ze Fingerspelling.xyz: een hand tracking-experience die gebruik maakt van machine learning om te helpen bij het leren van het gebarentaalalfabet. Momenteel zijn er meer dan 5,1 miljoen correcte handtekens geregistreerd en de ASDC gebruikt Fingerspelling.xyz nu als onderdeel van hun eigen trainingsmateriaal.

Anders Jessen, CEO en oprichter van Hello Monday/DEPT®: “Het voelt magisch om onze liefde voor technologie te kunnen combineren met onze wens om een betere wereld te maken waarin iedereen toegang heeft tot dezelfde taalhulpmiddelen. We hebben zin om deze dataset op te bouwen en hiermee bij te dragen aan de vooruitgang van AI – zodat we kunnen helpen bij het overbruggen van de communicatiebarrière tussen dove en horende mensen.”

www.deptagency.com