Pengembangan Sistem Deteksi Hand Gesture untuk Mempermudah Menghafal Sandi Morse dengan Metode KNN
DOI:
https://doi.org/10.38204/tematik.v12i1.2202Keywords:
Hand Gesture, Sandi Morse, Deteksi Hand Gesture, KNNAbstract
Sandi morse adalah teknik komunikasi unik yang masih digunakan dalam berbagai konteks, seperti komunikasi darurat dan amatir radio. Pengendali frekuensi radio di Indonesia sering menghadapi kesulitan dalam menghafal sandi morse. Media pembelajaran sandi morse saat ini masih terbatas pada titik dan garis yang sulit untuk dihafalkan. Penelitian ini mengembangkan sistem deteksi hand gesture menggunakan metode K-Nearest Neighbors (KNN) untuk mempermudah penghafalan sandi morse. Sistem ini memanfaatkan gerakan tangan seperti mengepal dan membuka telapak tangan, untuk mewakili kombinasi titik dan garis dalam sandi morse, dengan harapan membuat proses belajar lebih intuitif dan interaktif. Implementasi sistem dilakukan dengan menggunakan webcam, algoritma Mediapipe, library OpenCV, dan aplikasi Unity. Kemudian model dievaluasi performanya dan serta antarmukanya diuji degan blackbox. Sistem deteksi hand gesture berhasil mengidentifikasi huruf abjad berdasarkan gerakan tangan dengan akurasi minimal 60%. Pengujian lebih lanjut menggunakan KNN dengan nilai K-1, menunjukkan rata-rata akurasi sebesar 81%. Sehinga sistem efektif dalam mendeteksi gerakan tangan untuk mempermudah penghafalan sandi morse. Secara keseluruhan, dengan akurasi rata-rata 81%, sistem deteksi hand gesture ini menunjukkan potensi besar dalam meningkatkan pembelajaran sandi morse secara efektif dan menarik. Kendala utama dalam penelitian ini adalah terbatasnya data partisipan, yang mengakibatkan variasi dalam gerakan tangan dan potensi tumpang tindih antara kelas gerakan. Penelitian ini membutuhkan lebih banyak data untuk meningkatkan akurasi dan mengurangi kesalahan dalam deteksi gerakan. Sehingga, pada penelitian selanjutnya diharapkan peneliti memperbanyak dataset yang digunakan pada deteksi gerakan tangan untuk sandi morse.
Downloads
References
F. Wang, A. Hu, Y. Song, W. Zhang, J. Zhu, and M. Liu, “Morse Code Recognition Based on a Flexible Tactile Sensor with Carbon Nanotube/Polyurethane Sponge Material by the Long Short-Term Memory Model,” Micromachines (Basel), vol. 15, no. 7, p. 864, Jun. 2024, doi: 10.3390/mi15070864.
G. Bhavania, G. A. Kumar, Kumarm J. Sharat, and K. Tarun, “Morse Code Decoding Using Sound Waves in Machine Learning,” International Journal of Research Publication and Reviews, vol. 5, no. 11, pp. 6196–6201, Nov. 2024.
T. W. Tsang and H. J. Lu, “Hand movement improves word memory of Grade 1 students,” Int J Sch Educ Psychol, vol. 10, no. 3, pp. 408–417, Jul. 2022, doi: 10.1080/21683603.2020.1862724.
A. Fendar, S. Lokhande, C. Karpe, and A. Ingle, “MORSE CODE DETECTION USING MACHINE LEARNING,” International Research Journal of Modernization in Engineering Technology and Science, vol. 7, no. 4, pp. 5023–5028, Apr. 2025.
PusbangJusinfo, “Sandi Morse dan Cara Cepat Menghafalnya,” https://pramukadiy.or.id/sandi-morse-dan-cara-cepat-menghafalnya/.
D. Savitri, “Kode Morse: Pengertian, Sejarah dan Cara Menghafalnya Baca artikel detikedu, ‘Kode Morse: Pengertian, Sejarah dan Cara Menghafalnya,’” https://www.detik.com/edu/detikpedia/d-6469196/kode-morse-pengertian-sejarah-dan-cara-menghafalnya.
OpenCV.org, “About OpenCV,” 2023.
N. F. Ramadhanti, M. Lamada, and M. Riska, “Pengembangan Aplikasi Game Edukasi 3D ‘Finding Geometry’ Berbasis Unity Sebagai Media Pembelajaran Bangun Ruang Matematika,” Jurnal MediaTIK, vol. 4, no. 2, May 2021.
R. Apriansyah, Rusidi, and D. Pujianto, “Bangun Alat Deteksi Penggunaan Masker Menggunakan Arduino Pada Layanan Penerimaan Mahasiswa Baru Universitas Mahakarya Asia,” Jurnal Informatika dan Komputer (JIK), vol. 13, no. 2, pp. 16–22, Dec. 2022.
A. Darmawan, “Aplikasi Hand Gesture Recognition Sebagai Media Penerjemah Bahasa Isyarat Berbasis Android,” Universitas Komputer Indonesia, Bandung, 2021.
MediaPipe Hands, “MediaPipe Solutions,” https://mediapipe.readthedocs.io/en/latest/solutions/hands.html.
F. Zhang et al., “MediaPipe Hands: On-device Real-time Hand Tracking,” 2020. [Online]. Available: https://arxiv.org/abs/2006.10214
A. Rahagiyanto, A. Basuki, and R. Sigit, “Moment Invariant Features Extraction for Hand Gesture Recognition of Sign Language based on SIBI,” EMITTER International Journal of Engineering Technology, vol. 5, no. 1, pp. 119–138, Jul. 2017, doi: 10.24003/emitter.v5i1.173.
Unity Technologies, “Importing and exporting CSV files,” https://docs.unity3d.com/Packages/com.unity.localization@1.4/manual/CSV.html.
Z. Zhang, “Introduction to machine learning: k-nearest neighbors,” Ann Transl Med, vol. 4, no. 11, pp. 218–218, Jun. 2016, doi: 10.21037/atm.2016.03.37.
G. James, D. Witten, T. Hastie, and R. Tibshirani, An Introduction to Statistical Learning. New York, NY: Springer US, 2021. doi: 10.1007/978-1-0716-1418-1.
adminlp2m, “Algoritma K-Nearest Neighbors (KNN) – Pengertian dan Penerapan,” https://lp2m.uma.ac.id/2023/02/16/algoritma-k-nearest-neighbors-knn-pengertian-dan-penerapan/.
Kementerian Ketenagakerjaan, Penetapan Standar Kompetensi Kerja Nasional Indonesia Kategori Informasi dan Komunikasi Golongan Pokok Aktivitas Pemrograman, Konsultasi Komputer, dan Kegiatan yang Berhubungan Dengan Itu (ybdi) Bidang Keahlian Artificial Intelligence Subbidang Data Science. Indonesia: Keputusan Menteri Ketenagakerjaan (Kepmenaker), 2020.
C. C. Aggarwal, Machine Learning for Text. Cham: Springer International Publishing, 2022. doi: 10.1007/978-3-030-96623-2.
Data Mining. Elsevier, 2012. doi: 10.1016/C2009-0-61819-5.
