EDUKASI DAN IDENTIFIKASI BAHASA ISYARAT BAGI TUNARUNGU DENGAN MENGIMPLEMENTASIKAN CONVOLUTIONAL NEURAL NETWORK (CNN)

Abstrak

Bahasa Isyarat merupakan salah satu jenis bahasa yang menggunakan gerakan tubuh. Pada zaman ini, masih banyak masyarakat yang tidak dapat memahami bahasa isyarat, sehingga membuat orang-orang tunarungu kesulitan untuk berkomunikasi dengan masyarakat normal. Penelitian skripsi ini bertujuan untuk mengidentifikasi bahasa isyarat pada penyandang tunarungu agar dapat membantu masyarakat untuk berkomunikasi dengan para tunarungu. Sistem berbasis website ini akan mengidentifikasi gerak tangan yang menunjukan bahasa isyarat dengan kamera dan akan menterjemahkan bentuk tangan yang ditunjukan. Pembuatan sistem berbasis website ini menggunakan metode Convolutional Neural Networkdengan arsitektur ResNet (Residual Neural Network) sebagai model pengenalan objek. Setelah dilakukan pengujian sistem, didapatkan hasil accuracy yaitu, Train < 0.95 dan Validation juga > 0.95, untuk hasil loss didapatkan Train < 0.2 dan Validation < 0.1 dan hasil akurasi testing menghasilkan 70%. Dari dua kasus confusion matrix, terlihat bahwa terdapat pola kesalahan prediksi (FP) yang cenderung terjadi pada kelas-kelas tertentu dalam confusion matrix. Hal ini menunjukkan adanya potensi untuk meningkatkan performa model klasifikasi dengan fokus pada peningkatan akurasi dalam kelas-kelas yang rentan terhadap kesalahan prediksi. Kata kunci: Convolutional Neural Network, ResNet, Tunarungu, Bahasa Isyarat

Berkas

Detail