Dengan Apple Vision Pro, Ilmuwan Bisa Kontrol Robot Pakai Gerakan Tangan

Apple Vision Pro. Foto: Apple

Ilmuwan telah mengembangkan aplikasi untuk Apple Vision Pro, perangkat mixed reality, yang memungkinkan pengguna mengendalikan robot hanya dengan menggunakan gerakan kepala dan tangan. Aplikasi ini dapat digunakan untuk mengontrol mesin dari jarak jauh dalam berbagai skenario, mulai dari bermain hingga menavigasi zona bencana.

Aplikasi yang diberi nama “Tracking Streamer” ini melacak pergerakan manusia khususnya bagian kepala, pergelangan tangan, dan jari, serta mengalirkan data ini melalui koneksi WiFi ke robot di jaringan yang sama. Robot yang terhubung kemudian menerjemahkan data ke dalam gerakan yang sesuai.

Peneliti menerbitkan karya mereka dalam jurnal pendek di Github, platform berbagi kode komputer, pada 9 Maret 2024. Sistem yang mereka buat dapat melacak 26 titik di tangan dan pergelangan tangan, serta titik terpisah di kepala. Dia juga mampu mencatat data spasial. Pengembang aplikasi yang juga mahasiswa doktoral di MIT, Younghyo Park, memposting video di media sosial X yang memperlihatkan bagaimana sistem bekerja.

Video yang dibagikan memperlihatkan Gabe Margolis, rekan penulis studi dan mahasiswa pascasarjana di MIT, mengendalikan robot berkaki empat hanya dengan menggerakkan tangan dan tubuh.

Margolis melakukan gerakan untuk memerintah robot mendekati pintu yang tetutup, memutar pegangan dengan grippernya, membuka pintu tersebut dan berjalan masuk. Di adegan lain, ia memberi isyarat kepada robot untuk mengambil tutup tempat sampah plastik dan membuangnya tempat sampah. Pada satu titik, Margolis juga mencoba membungkuk sehingga memicu robot meniru gerakannya.

Apple sendiri meluncurkan headset yang menggabungkan virtual reality (VR) dan augmented reality (AR) Vision Pro pada Februari 2024 lalu. Perangkat ini menjadi viral dalam sekejap. Bahkan di media sosial, beredar banyak orang memakai Apple Vision Pro di ruang publik.

Sesaat sebelum Apple Vision Pro meluncur, para ilmuwan menerbitkan penelitian yang menyelidiki seberapa baik kinerja headset itu saat digunakan dalam kehidupan sehari-hari. Mereka menemukan perangkat memiliki jeda waktu, mengganggu penglihatan tepi, dan dapat menyebabkan distorsi seperti cermin rumah. Mereka memperingatkan agar tidak memakai Apple Vision Pro saat mengemudi atau saat berjalan.

Parak dan Margolis berpendapat, beberapa pengguna mungkin memakai Apple Vision Pro sepanjang waktu, seperti layaknya kacamata, dan penggunaan secara terus menerus dapat memberikan lebih banyak data yang bisa digunakan untuk mengajari robot bagaimana manusia bergerak.