Network
Sistem tersebut pertama-tama menjalankan video model yang dinamai PoseNet, yang dapat memperkirakan posisi tubuh dan anggota badan.
Baca Juga: Ma'ruf Amin Dikabarkan Maafkan Pelaku, Polisi Terus Lanjutkan Kasus Kolase Foto
Informasi visual yang disederhanakan ini pada dasarnya dengan garis kirim ke sistem yang dilatih data pose dari video orang yang menggunakan bahasa isyarat Jerman, dan membandingkan gambar langsung dengan tampilan garis yang dihasilkan dari gerakan.
Proses sederhana ini sudah menghasilkan akurasi 80 persen dalam memprediksi apakah seseorang menggunakan bahasa isyarat atau tidak, dan dengan beberapa pengoptimalan tambahan nmendapatkan akurasi hingga 91,5 persen.
Apabila dibandingkan dengan deteksi ucapan aktif pada sebagian panggilan video, hanya dapat mengetahui apakah seseorang bicara, bahkan tidak bisa membedakan batuk. Angka-angka tersebut terbilang cukup baik.
Baca Juga: Prediksi Baba Vanga: Trump Diramal akan Meninggal Dunia karena Tuli dan Tumor Otak
Untuk bekerja tanpa menambahkan sinyal, seseorang yang sedang menggunakan bahasa isyarat ke dalam panggilan, sistem menggunakan trik cerdas, dengan menggunakan sumber audio virtual untuk menghasilkan nada 20 kHz, yang berada di luar jangkauan pendengaran manusia. Namun diperhatikan oleh sistem audio komputer.
Sinyal ini dihasilkan setiap kali orang tersebut menggunakan bahasa isyarat, membuat algoritma deteksi uacapan berpikir bahwa mereka sedang berbicara dengan suara keras. Saat ini, sitem tersebut masih dalam tahap demo.***
