Student rozvíjí umělou inteligenci, která překládá znakovou řeč v reálném čase

V současném technologickém scénáři se o žádném subjektu tolik nespekuluje o nových inovacích jako o umělé inteligenci. Právě uprostřed tohoto konkurenčního scénáře se Gabriel Sales, student statistiky na UFF v Rio de Janeiru, ukázal jako vizionář a vedl projekt umělé inteligence, který překládá znakový jazyk. Jeho projekt se snaží překonat komunikační bariéry mezi neslyšícími a slyšícími lidmi a nabízí efektivní způsob přepisu znakového jazyka do portugalštiny v reálném čase.

Podle Gabriela je hlavním cílem této umělé inteligence změnit způsob komunikace neslyšících, zajistit dostupnost, nezávislost a příležitosti pro komunitu. Projekt, který je stále ve vývoji, ukazuje, že je schopen interpretovat znaky neslyšících ve videích a okamžitě je přeložit do portugalštiny.

Jak funguje AI pro neslyšící?

Projekt využívá k dosažení svého cíle tři různé umělé inteligence. První AI je zodpovědná za zachycení klíčových bodů na těle a jejich mapování napříč snímky videa. Tato data jsou poté odeslána do druhého AI, klasifikátoru, který identifikuje konkrétní vytvářený signál. Nejnovější umělá inteligence vstupuje do akce, aby zahrnula identifikované signály do kontextu a převedla seznam předpokládaných signálů do čitelné a srozumitelné zprávy v portugalštině.

Potenciál tohoto projektu je obrovský. Obecně by veškerá komunikace mezi neslyšícími a lidmi s obtížemi při interpretaci Vah byla zjednodušena do simultánního překladu, který by vyřešil šum v dialogu. Pokud bude účinná, mohla by tato technologie vyřešit několik komunikačních problémů, které postihují přibližně 10 milionů neslyšících občanů v Brazílii, což je přibližně 5 % brazilské populace, uvádí IBGE.

Gabriel Sales však ve svém projektu čelí výzvám, jako je omezení hardwaru a zdrojů pro sběr základních dat. Prostřednictvím vakinha online.

Projekt vedený výhradně Gabrielem Salesem nejen odráží jeho vášeň pro technologie, ale také zdůrazňuje sílu umělé inteligence vytvářet inovativní řešení s významným společenským dopadem. Zveřejňování videí o vašich aktualizacích AI na Instagramu, @projeto_ia_libras, Gabriel již získal více než 86,1 tisíce sledujících, kromě tisíců zhlédnutí jeho příspěvků.

Rozhovor s tvůrcem AI

Abychom lépe porozuměli funkčnosti této umělé inteligence při přepisu dialogů zahrnujících znakový jazyk v reálném čase, vyzpovídali jsme programátora a tvůrce projektu, studenta statistiky Gabriela Salesa.

Kdo za projektem stojí programátor a student statistik UFF? A jak jste k tomuto nápadu dospěli?

Prodej Gabriela: Jmenuji se Gabriel, jsem z Rio de Janeira. Jsem student s nadšením pro technologie. Svůj první počítač jsem měl, když mi bylo deset let a od té doby jsem se dostal do této oblasti výpočetní techniky. Začal jsem studovat programování od svých dvanácti let a postupoval jsem, až jsem skončil v datové vědě. Když jsem tu oblast objevil, myslel jsem si, že je to opravdu skvělé, zejména část s umělou inteligencí, kde roboti myslí téměř lidským způsobem, takže mě to velmi fascinovalo. A tak jsem začal tyto věci studovat. Nastoupil jsem na fakultu statistiky na UFF, protože statistika je důležitým základem pro datovou vědu. A začal jsem svou cestu v této oblasti umělé inteligence.

Začal jsem se hlouběji zabývat AI, začal jsem dělat několik malých projektů. A pak jsem měl na koleji, v prvním pololetí loňského roku, hodinu Váhy a příběh paní učitelky mě velmi zaujal, protože byla neslyšící a dokázala se stát lékařkou i přes všechny potíže, které ve svém příběhu zmiňovala.

Začal jsem tedy přemýšlet o tom, co bych mohl udělat zajímavého a inkluzivního pro tuto komunitu, abych jim pomohl. A pak jsem začal s myšlenkou umělé inteligence, která by mohla klasifikovat abecedy Libra. Typ: písmeno a, písmeno b, písmeno c atd. To vše prostřednictvím videa. To byl můj první nápad, můj první test, abych zjistil, jak těžké to bude, jak složité to bude, a pak jsem se vyvinul, začal přidávat robustní signály a zlepšovat znalosti AI.

Jak definujete svůj projekt? Co s ním hodláte změnit v současné realitě, zejména pro sluchově postižené?

Prodej Gabriela: Hlavním cílem je převrat v komunikaci mezi neslyšícími a slyšícími lidmi, protože mezi těmito lidmi existuje obrovská bariéra. Protože nutně potřebujete znát Váhy, abyste mohli komunikovat s neslyšícími lidmi, takže tím, že máte tento systém umělé inteligence, můžete tuto bariéru trochu prolomit. Můžeme to uplatnit ve firmách, v zákaznických službách, v digitální dostupnosti. Neslyšící klient tam jde a může jasně říct, co chce. Pokud si chce něco koupit, pokud potřebuje nějakou speciální pomoc, aniž by se spoléhal na tlumočníka Libra, vše lze provést digitálně pomocí AI.

Také v nemocnicích, v naléhavých situacích, kde ten člověk potřebuje rychlou péči a někdy nemáte někoho, kdo umí mluvit Váhy, že? Někdy potřebujete znát její krevní skupinu, potřebujete vědět, jestli nemá nějakou nemoc nebo něco podobného a s tímto systémem by to také šlo.

Také ve vzdělávání, pro výuku Vah, bude tento systém ve vzdělávání velmi účinný při testování přesnosti studentů, pokud správně dělají znaky, pokud se dobře učí. A dokonce i pro neslyšící učitele, kteří ne všichni mají schopnost mluvit, protože existují někteří neslyšící, kteří mohou rozvíjet schopnost mluvit, ale ne všichni mohou, by byl systém v tomto případě také užitečný. Existuje tedy několik aplikací, které lze vytvořit.

Jak popisujete, jak tato umělá inteligence funguje?

Prodej Gabriela: Existují tři AI. Jeden pro zachycení klíčových bodů těla, takže bude mapovat celé tělo osoby, obličej, rameno, loket, ruce, prsty, a to v průběhu snímků, protože to musíme udělat na video . Takže toto mapování bude provedeno v průběhu rámců. A poté bude předán klasifikátoru. Tato data klasifikuje z klíčových bodů těla a řekne vám, o jakou možnost se jedná.

A poslední AI je vytvořit kontext signálů. Takže poté, co zmapovala tělo, poté, co klasifikovala, o které znamení se jedná, sestaví seznam předpokládaných znamení a převede jej do zprávy, přirozené zprávy, která je čitelná a srozumitelná. Poté tato AI sestaví kontext signálů, které již byly předpovězeny druhou AI.

Je váš projekt jako celek jedinečný, nebo máte podobné projekty zahrnující umělou inteligenci, která tímto způsobem pomáhá neslyšícím?

Prodej Gabriela: Podobné projekty určitě existovat musí. Žádný z nich však nepokračoval, možná kvůli nedostatku investic v Brazílii. Lidé nakonec odcházejí mimo zemi, zejména kvůli snadnému přístupu k technologiím. Ale nevím, jestli jsou vyvinuté (jiné projekty), mohou existovat prototypy.

V listopadu 2023 společnost Showmetech oznámila, že Lenovo hodlá v roce 2024 spustit AI schopnou tlumočit a překládat znakovou řeč.

V čem je pro vás v tomto případě největší rozdíl ve vašem projektu?

Prodej Gabriela: Schopnost škálovat, lze ji velmi snadno škálovat s investicemi a rychleji se rozvíjet... Hlavní rozdíl je v tom, že překonáváme komunikační bariéru pro neslyšící, protože to pomůže ve vzdělávání, ekonomice, kultuře a politice.

Co byste potřebovali k vytvoření měřítka projektu?

Prodej Gabriela: Potřebuji data, protože AI potřebuje trénovat videa... Je to jako učit dítě, musíme ukázat, co je to signál, a několikrát to zopakovat, dokud to nepochopí. A také zařízení na zpracování všech z nich, protože budeme vytvářet a Big dat tímto způsobem.

Gabriel spustil na konci roku 2023 Vakinhu, aby další lidé mohli podpořit vývoj projektu.

Jaké jsou vaše další kroky s projektem?

Prodej Gabriela: Už nějakou dobu hledám partnerskou společnost, jedna mi pomáhá s mým webem. A teď hledám partnerství s nějakými vlivnými lidmi na tomto trhu, abych možná otevřel startup, získal investory a pak se mohl snadněji škálovat. Záměrem je prodávat společnostem, které chtějí mít digitální přístup, aby to nabídly svým zákazníkům.

Jak chráníte svou AI před „plagiátem“?

Prodej Gabriela: Pokud jde o umělou inteligenci, je těžké ji plagiovat. Můžete udělat něco podobného, ​​ale stejně, je to velmi obtížné. Je to jako kdyby Elon Musk vytvořil AI podobnou ChatGPT, umí to, ale oba budou mít různé odpovědi. Protože to, co tomu brání, jsou dostupná data a v librách je jich málo. Je třeba investovat do sběru dat.

Jaké testy podstupujete, abyste pochopili, že AI správně interpretuje signály v librách?

Prodej Gabriela: Dělám testy v reálném čase a vydávám různé signály, abych ověřil přesnost. Malé znalosti v librách, které jsem se naučil během předmětu na vysoké škole, používám a sleduji videa na internetu, abych rozvíjel školení AI.

Viz také:

Zdroje: Milne, Forbes e SmartClick.

Recenze Glaucon Vital dne 18.