SISTEM PENERJEMAH ABJAD BAHASA ISYARAT GESTUR TANGAN SECARA REAL-TIME MENGGUNAKAN GUI PYQT5 DAN DEEP-LEARNING YOLOv8 | ELECTRONIC THESES AND DISSERTATION
Image of SISTEM PENERJEMAH ABJAD BAHASA ISYARAT GESTUR TANGAN SECARA REAL-TIME MENGGUNAKAN GUI PYQT5 DAN DEEP-LEARNING YOLOv8

SISTEM PENERJEMAH ABJAD BAHASA ISYARAT GESTUR TANGAN SECARA REAL-TIME MENGGUNAKAN GUI PYQT5 DAN DEEP-LEARNING YOLOv8

Pengarang : Ikhsan Maulana - Personal Name;

Perpustakaan UBT : Universitas Borneo Tarakan., 2025
XML Detail Export Citation
    SKRIPSI

Abstract

Komunikasi merupakan elemen penting dalam kehidupan sosial, namun menjadi tantangan bagi penyandang tuna rungu-wicara akibat keterbatasan dalam menyampaikan dan menerima informasi. Bahasa isyarat menjadi solusi utama dalam berkomunikasi, namun tidak semua orang mampu memahaminya. Untuk itu, penelitian ini mengusulkan sistem penerjemah abjad bahasa isyarat gestur tangan secara real-time menggunakan GUI PyQt5 dan deep-learning YOLOv8. Sistem ini dirancang untuk mendeteksi gestur tangan dan menerjemahkannya ke dalam huruf abjad dan pesan suara secara otomatis dengan tampilan interface yang interaktif. Penelitian ini menggunakan dataset berjumlah 2028 data primer setelah melalui proses resize dan augmentasi berupa brightness, saturation, grayscale, dan exposure dengan proporsi pembagian dataset terdiri 92% data latih, 4% data validasiasi dan 4% data uji. Hasil pengujian sistem terhadap 4% data uji mendapatkan nilai precision, recall, dan f-measure seluruhnya adalah 1. Sedangkan hasil pengujian sistem terhadap citra real-time yang diambil sebanyak 10 sampel setiap kelas gestur untuk tangan kanan dan kiri dengan jarak 50 cm (total 520 citra) menunjukkan performa terbaik pada tangan kanan dengan precision 0,97, recall 0,88, dan f-measure 0,90, sementara performa pada tangan kiri tetap menunjukkan performa yang baik meskipun sedikit menurun. Pengujian juga dilakukan terhadap kondisi pencahayaan dan ketajaman citra dengan empat variasi skema dan dengan pencahayaan ruangan menggunakan lampu dengan intensitas 9 watt, mendapatkan performa terbaik tercapai saat kecerahan dikurangi 50, dengan precision 0,86, recall 0,74, dan f-measure 0,78, yang menunjukkan bahwa kualitas visual citra memengaruhi kinerja sistem deteksi. Selain itu, pengujian aspek usability menggunakan kuesioner System Usability Scale (SUS) yang diisi oleh 20 responden menghasilkan skor 80,38 dan masuk kedalam kategori “Good”, yang menandakan bahwa sistem ini tidak hanya baik dalam mendeteksi tetapi juga mudah digunakan dan memberikan pengalaman pengguna yang positif secara keseluruhan.
Kata Kunci : Bahasa isyarat, Gestur tangan, Deep-Learning, YOLO

Communication is an important element in social life, but it is a challenge for deaf-blind people due to limitations in conveying and receiving information. Sign language is the predominant solution for communication; however, it is not universally comprehensible. This research proposes a real-time hand gesture sign language alphabet translator system using PyQt5 GUI and YOLOv8 deep-learning. This system is designed to detect hand gestures and translate them into alphabets and voice messages automatically with an interactive interface. This research uses a dataset of 2,028 primary data after going through the resize and augmentation process in the form of brightness, saturation, grayscale, and exposure. The dataset is distributed as follows: 92% for training, 4% for validation, and 4% for testing. The results of system testing on 4% of test data get precision, recall, and f-measure values of 1.00 respectively. The results of system testing on real-time images, which included 10 samples of each gesture class for the right and left hands at a distance of 50 cm (520 images in total), demonstrated the optimal performance on the right hand, with precision, recall, and f-measure values of 0.97, 0.88, and 0.90, respectively. Meanwhile, the performance on the left hand still shows good performance although it decreased slightly. Tests were also conducted on lighting conditions and image sharpness with four variations of the scheme and with room lighting using a lamp with an intensity of 9 watts, getting the best performance achieved when the brightness is reduced by 50, with a precision of 0.86, recall of 0.74, and f-measure of 0.78, which indicates that the visual quality of the image affects the performance of the detection system. Furthermore, the System Usability Scale (SUS) questionnaire, completed by 20 respondents, yielded a score of 80.38, categorizing as "good," which indicates that this system is not only good at detecting but also easy to use and provides an overall positive user experience. Keywords : Sign Language, Hand Gestures, Deep-Learning, YOLO

Detail Informasi