Pengembangan Chatbot Berbasis AI untuk Mendukung Pelayanan Perpustakaan
DOI:
https://doi.org/10.38204/tematik.v12i1.2283Keywords:
BERTScore, Chatbot, CRISP-DM, Layanan Perpustakaan, LLMAbstract
Penelitian ini mengembangkan chatbot berbasis kecerdasan buatan (AI) untuk mendukung layanan informasi perpustakaan di STMIK Widya Cipta Dharma. Pengembangan chatbot dilakukan dengan pendekatan CRISP-DM dan teknologi LLM (Llama3.2) yang diintegrasikan melalui metode Retrieval-Augmented Generation. Dataset yang digunakan terdiri dari 11 pasangan pertanyaan-jawaban, kemudian dilakukan proses preprocessing, embedding vektor, dan pencarian dokumen menggunakan FAISS. Evaluasi dilakukan menggunakan metrik BERTScore untuk mengukur kesamaan semantik antara jawaban chatbot dan referensi, dengan hasil rata-rata precision sebesar 0.6513, recall sebesar 0.7924, dan F1-Score sebesar 0.7124. Nilai tersebut menunjukkan bahwa chatbot memiliki kemampuan semantik yang baik dalam menjawab pertanyaan umum terkait layanan perpustakaan, meskipun masih memerlukan pengembangan lebih lanjut untuk meningkatkan akurasi pada pertanyaan yang kompleks.
Downloads
References
W. Widyasari, A. Marini, R. R. Aliyyah, A. A. Gafar, and R. Ruhimat, “Fungsi Pendidikan dan Penelitian pada Perpustakaan Perguruan Tinggi Saat Pandemi Covid-19,” Jurnal Basicedu, vol. 5, no. 6, pp. 6011–6016, Nov. 2021.
R. A. Prasetyo et al., “Membangun Sistem Informasi Perpustakaan Digital Menggunakan Metode FAST pada STMIK Widya Cipta Dharma,” Jurnal Sebatik, vol. 29, no. 1, Jun. 2025.
L. Costaner, “Aplikasi Chatbot untuk Layanan Informasi dan Akademik Kampus Berbasis Artificial Intelligence Markup Language (AIML),” Digital Zone: Jurnal Teknologi Informasi dan Komunikasi, vol. 11, no. 2, Nov. 2020.
A. Hikmah, F. Azmi, and R. A. Nugraheni, “Implementasi Natural Language Processing pada Chatbot untuk Layanan Akademik,” e-Proceeding of Engineering, vol. 10, no. 1, pp. 371–376, Feb. 2023.
S. Nova, N. Khotimah, and M. Y. Aryati Wahyuningrum, “Pemanfaatan Chatbot Menggunakan Natural Language Processing untuk Pembelajaran Dasar-Dasar GUI Tkinter pada Bahasa Pemrograman Python,” Jurnal Pendidikan Teknologi dan Kejuruan, vol. 11, no. 1, Jan. 2024.
I. L. Alberts et al., “Large language models (LLM) and ChatGPT: What will the impact on nuclear medicine be?,” Eur. J. Nucl. Med. Mol. Imaging, vol. 50, no. 6, pp. 1549–1552, May 2023.
B. R. Anassai and P. Josaphat, “Pembangunan Chatbot Sistem Informasi KBLI dan KBJI Berbasis LLM,” Jurnal Teknologi Informasi, 2024.
P. Adytia, W. Wahyuni, D. Asmaramany, and K. Sussolaikah, “Coffee Type Classification Using Backpropagation Artificial Neural Network,” Indonesian Journal of Artificial Intelligence and Data Mining, vol. 7, no. 1, p. 193, Apr. 2024.
T. E. Putri and G. Ramadhan, “Penerapan Chatbot sebagai Alat Pembelajaran untuk Pengembangan Pendidikan Karakter,” Jurnal Pendidikan Karakter, vol. 15, no. 1, Jun. 2024.
T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, “BERTScore: Evaluating Text Generation with BERT,” arXiv preprint, arXiv:1904.09675, Feb. 2020.
Y. Yuniati et al., “Analisis Performa Ekstraksi Konten GPT-3 dengan Metrik BERTScore dan ROUGE,” Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK), vol. 11, no. 6, Dec. 2024.
E. Durmus, H. He, and M. Diab, “FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization,” in Proc. ACL, May. 2020.
M. A. Pratiwi, D. Syahbaniar, and A. H. Robbani, “WIDYA (Web Information Dialog Your Assistant): AI-Powered Chatbot for Library Online Service Innovation,” Jurnal FPPTI, vol. 2, no. 2, pp. 42–52, Aug. 2024.
S. Sugiono, “Peran Chatbot dalam Mendukung Smart Service pada Smart Library,” VIsi Pustaka, vol. 23, no. 3, Dec. 2021.
E. Erlina et al., “Penerapan Artificial Intelligence pada Aplikasi Chatbot sebagai Sistem Pelayanan dan Informasi Online pada Sekolah,” Journal of Information System and Technology, vol. 4, no. 3, pp. 221–230, Nov. 2023.
Y. Suhanda, I. Kurniati, and S. Norma, “Penerapan Metode CRISP-DM dengan Algoritma K-Means Clustering untuk Segmentasi Mahasiswa Berdasarkan Kualitas Akademik,” Jurnal Teknologi Informatika dan Komputer MH Thamrin, vol. 6, no. 2, Sep. 2020.
C. Schröer, F. Kruse, and J. M. Gómez, “A Systematic Literature Review on Applying CRISP-DM Process Model,” Procedia Computer Science, vol. 181, pp. 526–534, 2021.
M. R. Amalsyah, D. Kurniawan, A. Rifai, and P. Sari, “Sentiment Analysis of Fintech Application User Reviews Using the CRISP-DM Framework for Product Development Prioritization,” Sistemasi: Jurnal Sistem Informasi, vol. 14, no. 2, pp. 813–825, Feb. 2025.
Y. A. Singgalen, “Analyzing an Interest in GPT 4o through Sentiment Analysis using CRISP-DM,” Journal of Information Systems and Informatics, vol. 6, no. 2, pp. 882–898, Jun. 2024.
A. M. Shimaoka, R. C. Ferreira, and A. Goldman, “The Evolution of CRISP-DM for Data Science: Methods, Processes and Frameworks,” SBC Reviews on Computer Science, vol. 4, no. 1, pp. 28–43, Oct. 2024.
M. I. Syah et al., “Penerapan Retrieval Augmented Generation Menggunakan Langchain dalam Pengembangan Sistem Tanya Jawab Hadis Berbasis Web,” ZONAsi: Jurnal Sistem Informasi, vol. 6, no. 2, pp. 370–373, May 2024.
F. R. Fatonah, D. S. Maylawati, and E. Nurlatifah, "Chatbot Edukasi Pra-Nikah berbasis Telegram Menggunakan Bidirectional Encoder Representations From Transformers (BERT)," Jurnal Algoritma, vol. 21, no. 2, pp. 29-40, Nov. 2024.
A. C. Saputra, A. S. Saragih, and D. Ronaldo, "Perbandingan Nilai Akurasi DistilBERT dan BERT pada Dataset Analisis Sentimen Lembaga Kursus," Jurnal Teknologi Informasi, vol. 18, no. 2, Aug. 2024.
J. S. Wibowo, H. Februariyanti, and H. Listiyono, "Model Penjawab Pertanyaan Otomatis Berdasarkan Peringkat Relevansi Kalimat Menggunakan Model BERT," KESATRIA: Jurnal Penerapan Sistem Informasi (Komputer & Manajemen), vol. 5, no. 3, pp. 1100-1108, Jul. 2024.
J. H. Cabot dan E. Gyang Ross, "Evaluating Prediction Model Performance," Surgery, vol. 174, no. 3, hal. 723–726, Sep. 2023.
