Google je u Gemini Live uveo Guided Vision, glasovni opis okoline za slijepe i slabovide

Guided Vision je namijenjen slijepim i slabovidim osobama, a Google navodi da pomaže i svakome ko treba da pročita sitan tekst pri slabom svjetlu. Kompanija je funkciju najavila u septembru, u okviru paketa novih funkcija za Android, a sada ju je objavila na kompatibilnim Android uređajima. U objavi se iOS ne pominje.

Šta radi s kamerom

Kad je Guided Vision uključen, korisnik tokom sesije u Gemini Liveu podijeli sliku s kamere. Gemini glasom opisuje okolinu i odgovara na dodatna pitanja o onome što kamera prikazuje. Ako je kamera usmjerena previsoko, preblizu ili u stranu, Gemini daje govorna uputstva: da se kamera polako pomjeri udesno, da se nagne nadolje ili da se korisnik odmakne.

Google navodi četiri svakodnevne primjene.

• Čitanje sitnog i složenog teksta, kao što su nutritivne tablice, oznake na kućnim aparatima i štampani jelovnici pri slabom svjetlu.
• Pronalaženje predmeta u blizini, na primjer slušalice koja je pala na pod ili jedne teglice u punom ormariću sa začinima.
• Opisivanje boja, šara i oblika, na primjer da li košulja odgovara pantalonama.
• Pregled nepoznatog prostora, rasporeda u prostoriji ili predmeta na stolu.

Kako je funkcija obučavana i testirana

Google navodi da je sa firmom Aira sarađivao na vizuelnom tumačenju podataka, u ukupnom trajanju od više desetina hiljada sati. Prema navodima kompanije, više od 1.000 članova Airine mreže Trusted Tester testiralo je model u svakodnevnim situacijama, a Airini stručnjaci pomogli su da se uspostave i ocijene bezbjednosne zaštite. Google navodi i da funkcija podržava razgovor na više jezika. Prema objavi, testirana je sa zajednicama slijepih i slabovidih u Indiji, Brazilu, Singapuru, Indoneziji, Japanu i drugim zemljama. Objava ne sadrži podatke o tačnosti.

Tri načina pokretanja

Guided Vision radi na uređajima s Androidom 9 i novijim verzijama, u regionima i na jezicima u kojima je Gemini Live podržan. Google savjetuje da se prethodno ažuriraju aplikacija Gemini i sistemski softver Androida.

• U aplikaciji Gemini, u podešavanjima profila, uključuje se opcija Use Guided Vision in Live. Zatim se u Gemini Liveu podijeli kamera.
• U podešavanjima Androida, u odjeljku Accessibility, pod stavkama Vision assistance i Guided Vision, podešava se prečica za pristupačnost: plutajuće dugme, prevlačenje s dva prsta ili istovremeni pritisak oba tastera za jačinu zvuka.
• U čitaču ekrana Google TalkBack meni se prikazuje poslije dodira s tri prsta, a u njemu se bira Guided Vision.

Šta Guided Vision nije, prema Googleu

Google navodi da Guided Vision može da pogriješi, kao i svaka tehnologija generativne vještačke inteligencije. Funkcija nije medicinsko sredstvo, pomagalo za kretanje ni zamjena za bijeli štap. Nije namijenjena navigaciji, uputstvima za bezbjedno kretanje ni otkrivanju prepreka, a Google korisnicima poručuje da se i dalje oslanjaju na provjerena pomagala za kretanje.