mediapulsasGV filmai: garsinių aprašymų platforma, atverianti kiną regėjimo negalią turintiems.
Sukūrėme prieinamumo technologijų platformą, leidžiančią regėjimo negalią turintiems žmonėms mėgautis filmais: mobilioji programėlė akustinio atspaudo (acoustic fingerprint) technologija atpažįsta tikslią filmo vietą ir automatiškai paleidžia sinchronizuotą garsinį aprašymą - ausinėse skamba pasakojimas apie tai, kas vyksta ekrane. Projektas finansuotas Europos Sąjungos inovacijų programos.
MediaPulsas kuria prieinamumo (accessibility) technologijas Lietuvoje - nuo garso atpažinimo realiu laiku iki WCAG standartus atitinkančių sąsajų regėjimo negalią turintiems.
KlientasApie projektą
Filmas pasakoja vaizdu - todėl regėjimo negalią turintiems žmonėms didelė istorijos dalis lieka nepasiekiama. Garsinio aprašymo technologija šią spragą užpildo: tarp dialogų įsiterpia pasakotojo balsas, apibūdinantis scenas, veiksmus ir personažus. Bet didžiausias iššūkis - kaip tą pasakojimą tiksliai sinchronizuoti su filmu, kad jis skambėtų būtent reikiamu momentu, ir kine, ir namuose.
Sprendimas - akustinio atspaudo atpažinimas: programėlė „klausosi" filmo garso, atpažįsta tikslią atkūrimo vietą ir paleidžia atitinkamą pasakojimo takelį ausinėse - be jokio rankinio nustatymo. Sistema pilnai suderinta su mobiliųjų operacinių sistemų prieinamumo funkcijomis, įskaitant ekrano skaitytuvus VoiceOver (iOS) ir TalkBack (Android), todėl regėjimo negalią turintis žmogus programėlę valdo garsu. Naudoti galima ir kino salėje, ir namuose.
Kaip veikia sistema
Pasakojimo kelias nuo filmo garso iki tikslaus momento ausinėse - automatiškai, be jokio rankinio nustatymo:
- Filmas grojamas
- Programėlė klausosi garso
- Akustinio atspaudo atpažinimas
- Vietos nustatymas
- Pasakojimo takelis
- Sinchronizacija
- Garsas ausinėse
Iššūkis
Realaus laiko garso sinchronizacija - technologiškai reikliausia dalis, kur tikslumas ir greitis turi eiti kartu:
- Nustatyti filmo atkūrimo vietą pagal akustinį atspaudą
- Kalibruoti algoritmus taip, kad atpažinimas būtų ir tikslus, ir greitas
- Sinchronizuoti pasakojimo takelius su scenomis realiu laiku
- Užtikrinti patikimą veikimą ir kino salėse, ir namuose
- Sumažinti vėlinimą tarp filmo ir pasakojimo iki minimumo
- Suprojektuoti sąsają, valdomą garsu ir suderinamą su ekrano skaitytuvais
Kodėl tai buvo sudėtinga: techniniai iššūkiai
Akustinio atspaudo kalibravimas
Atpažinti filmo vietą pagal garsą reikia ir tikslumo, ir greičio - o jie tarpusavyje konkuruoja. Algoritmus kalibravome taip, kad sistema greitai atpažintų atkūrimo vietą išlaikydama tikslią sinchronizaciją: pasiektas 98%+ tikslumas.
Minimalus vėlinimas
Pasakojimas, atskambantis net sekundę pavėluotai, sugriauna patirtį. Sinchronizacijos algoritmai suprojektuoti taip, kad vidutinis vėlinimas liktų žemiau 300 ms - žmogus negirdi jokio atsilikimo.
Veikimas skirtingomis sąlygomis
Kino salės garsas ir namų televizoriaus garsas skiriasi - triukšmas, akustika, garsumas. Atpažinimas suprojektuotas patikimai veikti abiejose aplinkose, ne tik idealiomis sąlygomis.
Sąsaja, valdoma garsu
Regėjimo negalią turintis žmogus programėlės nemato. Ji suprojektuota „prieinamumas pirmiausia" (accessibility-first): pilnai suderinta su VoiceOver ir TalkBack, todėl kiekvienas veiksmas pasiekiamas garsu.
WCAG atitiktis
Prieinamumo produktas privalo atitikti tarptautinius WCAG standartus - ne kaip formalumą, o kaip realią sąlygą, kad žmogus galėtų savarankiškai naudotis programėle be pašalinės pagalbos.
Turinio valdymas
Filmus, garso takelius ir aprašymus reikia įkelti ir tvarkyti. Administravimo sistema leidžia valdyti garsinių aprašymų turinį ir jį susieti su konkrečiais filmais be programuotojo.
„Prieinamumo technologijoje sėkmę lemia ne funkcijų kiekis, o milisekundės: pasakojimas turi atskambėti būtent tuo momentu, kai vyksta scena - kitaip filmas subyra į nesuprantamą garsų srautą."
- MediaPulsas architektų komanda
Sprendimas
Sukūrėme realaus laiko medijos sinchronizacijos platformą su prieinamumu pirmiausia:
- Automatinis filmo atpažinimas akustiniu atspaudu
- Sinchronizuoti garsiniai aprašymai realiu laiku
- Veikimas kino salėse ir namuose
- Pilnas VoiceOver (iOS) ir TalkBack (Android) palaikymas
- WCAG standartus atitinkanti sąsaja
- Administravimo sistema filmų ir aprašymų turiniui
Architektūra ir inžineriniai sprendimai
Platformą sudaro mobiliosios programėlės ir realaus laiko garso apdorojimo sistemos. Branduolys - akustinio atspaudo atpažinimas: programėlė analizuoja filmo garsą, nustato tikslią atkūrimo vietą, o sinchronizacijos algoritmai paleidžia atitinkamą pasakojimo takelį reikiamu momentu. Esminis inžinerinis iššūkis buvo kalibruoti atpažinimą taip, kad jis būtų ir greitas, ir tikslus - dvi savybės, kurios paprastai konkuruoja.
Sistema suprojektuota veikti be naudotojo įsikišimo: nereikia nieko nustatyti rankiniu būdu - programėlė pati atpažįsta filmą ir sinchronizuojasi. Sąsaja kurta „prieinamumas pirmiausia" principu, pilnai suderinta su ekrano skaitytuvais (VoiceOver, TalkBack) ir atitinkanti WCAG standartus. Administravimo sistema leidžia įkelti filmus, garso takelius ir aprašymus bei valdyti garsinių aprašymų darbų srautą.
Architektūriniai pasirinkimai: kodėl būtent taip
Kodėl akustinis atspaudas, o ne rankinis nustatymas?
Regėjimo negalią turintis žmogus negali rankiniu būdu sinchronizuoti pasakojimo su filmu. Akustinis atspaudas leidžia sistemai pačiai atpažinti filmo vietą - patirtis tampa savarankiška, be pašalinės pagalbos ir be jokių nustatymų.
Kodėl vėlinimas žemiau 300 ms buvo kritiškas?
Žmogaus ausis pastebi net nedidelį garso ir vaizdo neatitikimą. Jei pasakojimas atsilieka, jis apibūdina sceną, kuri jau praėjo - todėl vėlinimą laikėme svarbiausiu techniniu rodikliu, ne antraeiliu.
Kodėl „prieinamumas pirmiausia", o ne pridėtas vėliau?
Prieinamumas negali būti dekoracija. Jei sąsaja projektuojama regintiems, o paskui „pritaikoma" - ji lieka nepatogi. Todėl valdymą garsu ir ekrano skaitytuvų palaikymą projektavome nuo pirmos dienos.
Kodėl reikėjo balanso tarp greičio ir tikslumo?
Greitas, bet netikslus atpažinimas paleistų ne tą pasakojimą; tikslus, bet lėtas - pavėluotų. Kalibravimas rado tašką, kur sistema ir greitai atpažįsta vietą, ir išlaiko 98%+ tikslumą.
Kodėl atskira turinio administravimo sistema?
Kiekvienas filmas turi savo garso takelį ir aprašymus. Administravimo sistema leidžia turinio komandai įkelti ir susieti medžiagą be programuotojo - taip platforma plečiama naujais filmais savarankiškai.
Technologijos
- iOS programėlė
- Android programėlė
- Akustinio atspaudo atpažinimas
- Sinchronizacijos algoritmai
- Realaus laiko garso apdorojimas
- VoiceOver / TalkBack palaikymas
- WCAG sąsaja
- Turinio administravimo sistema
- Backend servisai
- REST API
- Medijos saugykla
- Accessibility-first UX
Rezultatai
Platforma atvėrė kiną žmonėms, kuriems jis anksčiau buvo tik garsų srautas - su išmatuojamu techniniu tikslumu:
Ko išmokome
- Prieinamumo produkte tikslumas matuojamas milisekundėmis - vėlinimas svarbesnis už bet kurią funkciją
- Prieinamumas turi būti architektūroje nuo pradžių, ne pridėtas kaip sluoksnis pabaigoje
- Greitis ir tikslumas garso atpažinime konkuruoja - vertė gimsta kalibravime, ne viename iš jų
- Automatinis veikimas be nustatymų yra esmė ten, kur naudotojas negali nustatyti rankiniu būdu
Kam tinka panašus sprendimas
- Prieinamumo ir įtraukties projektams
- Kino teatrams ir medijos platformoms
- Kultūros ir meno įstaigoms
- Muziejams su garso gidais
- Švietimo ir edukacijos projektams
- ES finansuojamoms inovacijoms
- Realaus laiko garso atpažinimo produktams
- Bet kam, kam reikia medijos sinchronizacijos
Dažniausi klausimai
Kas yra garsinio aprašymo technologija? +
Kas yra akustinio atspaudo technologija? +
Kaip pasiektas sinchronizacijos tikslumas? +
Ar programėlė pritaikyta regėjimo negalią turintiems? +
Kas Lietuvoje kuria prieinamumo technologijas? +
Turite idėją? Paverskime ją produktu
Papasakokite, ką norite pasiekti - per 48 valandas gausite apimties ir biudžeto įvertinimą bei mūsų siūlymą, nuo ko pradėti. Nemokamai ir be įsipareigojimų.