Pengguna Google Pixel 11 Series kini dapat memakai kamera ponsel untuk mengubah bahasa isyarat menjadi teks melalui Gboard. Kemampuan tersebut hadir lewat model AI Sign-Language-to-Text atau SL2T, yang juga terintegrasi dengan Live Transcribe.
Teknologi ini menawarkan cara input yang berbeda dari dikte berbasis suara. Pengguna cukup memberikan gestur di depan kamera, lalu hasil pengenalan akan muncul sebagai teks pada layar perangkat.
Gestur Menjadi Respons Teks
Di Gboard, ikon Sign Language to Text tersedia pada bagian atas keyboard. Setelah ikon dipilih, kamera akan muncul dan sistem mulai membaca gerakan pengguna untuk diterjemahkan.
Live Transcribe menyediakan penggunaan lain yang lebih berorientasi pada percakapan. Bahasa isyarat dapat dipakai untuk memberikan respons saat berinteraksi dengan Gemini tanpa harus mengetik secara manual.
| Layanan | Kegunaan | Cara kerja |
|---|---|---|
| Gboard | Menghasilkan teks dari gestur | Membaca kamera ponsel |
| Live Transcribe | Membantu respons dalam percakapan dengan Gemini | Membaca kamera ponsel |
Model ini membaca lebih banyak unsur daripada sekadar posisi tangan. Gerakan lengan, tubuh, kepala, serta ekspresi wajah juga menjadi bagian dari informasi yang dianalisis.
Pendekatan tersebut diperlukan karena makna dalam bahasa isyarat tidak selalu ditentukan oleh satu bentuk tangan. Google DeepMind mengembangkan SL2T bersama komunitas tuli dari berbagai negara untuk mendukung pemahaman yang lebih luas terhadap unsur tersebut.
Video Diubah Menjadi Titik Koordinat
Google menjelaskan bahwa video mentah dari kamera tidak dikirim untuk diproses. MediaPipe Holistic lebih dahulu mengubah rekaman itu menjadi data titik koordinat yang memetakan gerakan bagian tubuh.
Data koordinat tersebut kemudian dikirim ke model AI untuk diterjemahkan menjadi teks. Mekanisme ini menjadi pendekatan privasi yang disampaikan Google untuk penggunaan SL2T.
Pada tahap awal, fitur hanya mendukung penerjemahan American Sign Language atau ASL ke bahasa Inggris. Dukungan ini mencakup bahasa isyarat satu tangan dan pengguna tangan kiri.
Masih Ada Situasi yang Sulit Dipahami
Google melatih model dengan lebih dari 100.000 jam data dari lebih dari 50 bahasa isyarat. Sekitar 25 persen dari keseluruhan data itu mencakup ASL.
| Komponen | Informasi |
|---|---|
| Bahasa awal | ASL ke bahasa Inggris |
| Cakupan data | Lebih dari 50 bahasa isyarat |
| Durasi data pelatihan | Lebih dari 100.000 jam |
| Skor FLEURS-ASL | 70 BLEURT secara zero-shot |
Menurut Google DeepMind, SL2T memperoleh skor 70 BLEURT secara zero-shot dalam benchmark FLEURS-ASL. Google menyatakan capaian itu merupakan skor tertinggi yang pernah dilaporkan untuk penerjemahan ASL ke bahasa Inggris pada pengujian tersebut.
Meski mencatat hasil tinggi, SL2T belum bebas dari kekeliruan. Tanda yang jarang dipakai, fingerspelling cepat, pola kalimat tertentu, dan konteks waktu masih berpotensi membuat hasil terjemahan kurang tepat.
Tekno.kompas.com melaporkan bahwa fitur ini sementara hanya tersedia pada Google Pixel 11 Series. Google berencana memperluas ketersediaan perangkat serta menambah bahasa isyarat dan bahasa terjemahan pada masa mendatang.
