Ve složitém prostředí mohou lidé rozumět významu řeči lépe než umělá inteligence, protože nepoužíváme jen uši, ale také oči.
Například vidíme něčí ústa v pohybu a můžeme intuitivně vědět, že zvuk, který slyšíme, musí pocházet od této osoby.
Meta AI pracuje na novém dialogovém systému AI, který má naučit AI, aby se také naučila rozpoznávat jemné korelace mezi tím, co vidí a slyší v konverzaci.
VisualVoice se učí podobným způsobem, jakým se lidé učí zvládat nové dovednosti, což umožňuje separaci audio-vizuální řeči tím, že se učí vizuální a sluchové podněty z neoznačených videí.
U strojů to vytváří lepší vnímání, zatímco lidské vnímání se zlepšuje.
Představte si, že byste se mohli účastnit skupinových schůzek v metaverse s kolegy z celého světa, připojovat se k menším skupinovým schůzkám, když se pohybují virtuálním prostorem, během kterých se zvukové reverby a témbry ve scéně chovají podle prostředí.
To znamená, že dokáže získat zvukové, obrazové a textové informace současně a má bohatší model porozumění prostředí, což uživatelům umožňuje mít zvukový zážitek „velmi wow“.
Čas odeslání: 20. července 2022
