Aplikasi Penerjemah Bahasa Isyarat Secara Real Time Menggunakan Metode Convolution Neural Network

Abstract

Komunikasi merupakan aspek fundamental dalam kehidupan manusia. Namun, keterbatasan aksesibilitas terhadap bahasa isyarat masih menjadi penghambat utama bagi penyandang tunarungu dan tunawicara dalam berinteraksi dengan masyarakat luas. Kurangnya kesadaran dan pemahaman masyarakat terhadap bahasa isyarat turut memperparah kondisi ini. Untuk mengatasi permasalahan tersebut, penelitian ini bertujuan untuk mengembangkan alat penerjemah bahasa isyarat berbasis citra gestur tangan yang mudah diakses dan digunakan oleh berbagai kalangan. Penelitian ini memberikan kontribusi dengan menghadirkan solusi berbasis teknologi pembelajaran mesin guna mendukung inklusivitas dan meningkatkan pemahaman masyarakat terhadap bahasa isyarat. Penelitian menerapkan metode Convolution neural network untuk mendeteksi alfabet bahasa isyarat berdasarkan citra tangan. Proses penelitian meliputi tahap pengumpulan data, pra proses, augmentasi, pembuatan generator data, pelatihan model, dan evaluasi performa. Model dikembangkan dan diuji menggunakan dataset citra tangan yang telah disiapkan secara sistematis. Hasil pengujian menunjukan bahwa model berhasil mendeteksi gestur tangan secara real time dengan tingkat akurasi mencapai 95% dan waktu respon kurang dari 5 detik. Meskipun begitu, akurasi model terpengaruh oleh beberapa faktor eksternal, seperti variasi gesture antar individu, sudut kamera, kondisi pencahayaan, dan latar belakang. Sensitivitas terhadap kondisi lingkungan ini menyebabkan penurunan akurasi dalam beberapa skenario. Sebagai produk akhir, dikembangkan sebuah aplikasi android yang mampu menerjemahkan bahasa isyarat alfabet. Aplikasi ini telah mencapai tahap alpha, namun masih memerlukan penyempurnaan sebelum dapat dipublikasikan secara luas.