سنجش اعتبار و بررسی پایایی نسخۀ فارسی پرسش‌نامۀ سواد هوش مصنوعی کارلوس و دیگران

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشیار گروه علم اطلاعات و دانش‌شناسی دانشگاه شهید چمران اهواز، اهواز، ایران

2 دانشیار، گروه علم اطلاعات و دانش‌شناسی، دانشگاه شهید چمران اهواز، اهواز، ایران

3 استادیار، گروه علم اطلاعات و دانش‌شناسی، دانشگاه شهید چمران اهواز، اهواز، ایران

4 دانشجوی کارشناسی‌ارشد، گروه علم اطلاعات و دانش‌شناسی، دانشگاه شهید چمران اهواز، اهواز، ایران

10.22091/stim.2026.11117.2141

چکیده

هدف: پژوهش حاضر برای آماده‌سازی، سنجش اعتبار، و بررسی پایایی پرسش‌نامۀ سواد هوش مصنوعی کارلوس و دیگران (2023) انجام شده است.
روش‌شناسی: این پژوهش با رویکرد کمّی برای توصیف ویژگی‌های روان‌سنجی پرسش‌نامۀ سواد هوش مصنوعی طراحی شده است. جامعۀ آماری این پژوهش دانشجویان دانشگاه شهید چمران اهواز بودند که برمبنای حجم نمونۀ تعیین‌شده براساس تعداد گویه‌های پرسش‌نامه، 240 نفر برای نمونه انتخاب شدند. برای اعتبارسنجی این ابزار، شاخص‌های روایی ظاهری و محتوایی اندازه‌گیری شد، و برای بررسی روایی سازه از تحلیل عاملی تأییدی استفاده شد. برای تحلیل گویه‌های پرسش‌نامه، از مدل چند ارزشی پرسش-پاسخ، و برای بررسی پایایی از شاخص آلفای کرونباخ استفاده شد.
یافته‌ها: در توسعۀ این ابراز، مدل ساختاری هشت‌عاملی استفاده شده است که عبارت‌اند از: 1. شناخت و درک هوش مصنوعی، 2. استفاده و کاربرد هوش مصنوعی، 3. ارزیابی و خلق هوش مصنوعی، 4. اخلاق هوش مصنوعی، 5. حل مسئلۀ هوش مصنوعی، 6. یادگیری هوش مصنوعی، 7. سواد متقاعدسازی هوش مصنوعی، و 8. تعدیل احساسات با هوش مصنوعی. این هشت عامل در دو مؤلفه‌ی کلی، یعنی «سواد هوش مصنوعی» و «خود مدیریتی هوش مصنوعی» گنجانده شده‌اند. این ابزار در 30 گویه توسعه یافته است. روایی ظاهری گویه‌های پرسش‌نامه و تناسب آن با دانشجویان ایرانی تأیید شد. بررسی روایی محتوایی نشان داد بین گویه‌ها و عامل‌ها ارتباط منطقی وجود دارد. همچنین تحلیل عاملی تأییدی برای این هشت عامل بیانگر آن بود که این مدل هشت عاملی، ساختاری مناسب برای اندازه‌گیری سواد هوش مصنوعی ایجاد می‌کند و برازش مناسبی بین مدل و داده‌های تجربی وجود دارد. گویه‌های پرسش‌نامه هم‌زمان با داشتن برازندگی مطلوب با مدل‌های پرسش-پاسخ چندارزشی، دارای قدرت تمیزدادن مناسب در سطوح مختلف نگرشی افراد هستند. بررسی پایایی پرسش‌نامه نیز نشان داد که هم عامل‌ها به‌طور جداگانه و هم پرسش‌نامه به‌طور کلی، در سطح مطلوبی از ثبات قرار دارند.
نتیجه‌گیری: نتایج نشان می‌دهد که این پرسش‌نامه می‌تواند به‌طور مؤثری مهارت‌‌ها و نگرش‌‌های مرتبط با هوش مصنوعی را ارزیابی کند و ابزار مفیدی برای پژوهشگران، مربیان، و متخصصان در زمینه‌های مختلف ارائه دهد. این ابزار، با توجه به تأکید آن بر مهارت‌های روان‌شناختی، می‌تواند به بهبود درک و استفادۀ مؤثر از هوش مصنوعی کمک کند و راه را برای توسعۀ آموزش‌ها و برنامه‌های کاربردی در این حوزه هموار سازد. از آنجایی که پژوهش حاضر یکی از نخستین تلاش‌ها برای پایایی پرسش‌نامۀ سواد هوش مصنوعی است، امکان مقایسۀ نتایج آن با پژوهش‌های پیشین میسر نیست. با توجه به اینکه در زمان اجرای این پژوهش اقدامی درراستایطراحی ابزاری برای تعیین سطح و ارزیابی مهارت دانشجویان دانشگاه شهید چمران اهواز در زمینۀ سواد هوش مصنوعی انجام نشده بود، پژوهش حاضر می‌تواند زمینۀ لازم برای انجام پژوهش‌های گوناگون و گسترده در این زمینه را فراهم کرده و بسترساز پژوهش‌های بیشتر در حوزۀ سواد هوش مصنوعی شود.
اصالت/ارزش: در زبان فارسی ابزار مناسبی که بتواند سواد هوش مصنوعی را به‌خوبی بسنجد، وجود ندارد. بنابراین جای خالی ابزاری مناسب در این حوزه مشاهده می‌شد. این ابزار می‌تواند نشانگر اثربخشی در سنجش سواد هوش مصنوعی باشد و استفاده از آن برای سنجش سطح سواد هوش مصنوعی افراد در حوزۀ مختلف کشور پیشنهاد می‌شود.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Assessing the validity and reliability of the Persian version of the artificial intelligence literacy questionnaire of Carlos et al.

نویسندگان [English]

  • shahnaz khademizadeh 1
  • Mansoor Koohi Rostami 2
  • Mohammad Reza Shekari 3
  • Farshid Javadi Shokroo 4
1 Associate Professor, Department of Information Science and Knowledge, Shahid Chamran University of Ahvaz, Ahvaz, Ahvaz, Iran.
2 Assistant Professor, Department of Knowledge and Information Science Department, Shahid Chamran University of Ahvaz, Ahvaz, Iran
3 Assistant Professor, Department of Knowledge and Information Chamran University of Ahvaz, Ahvaz, Iran.
4 Masters student, Knowledge and Information Science, Shahid Chamran University of Ahvaz, Ahvaz, Iran.
چکیده [English]

Objective: Artificial intelligence literacy is a set of competencies that enable individuals to critically evaluate artificial intelligence technologies, communicate and collaborate effectively with them, and utilize them as tools at home and in the workplace. Parallel to the growing importance of artificial intelligence literacy, various validation studies have been conducted on measurement tools, culminating in newly proposed assessment instruments. Therefore, this study was conducted to adapt, validate, and assess the reliability of the artificial intelligence literacy questionnaire developed by Carlos et al.(2023).
Methodology: This quantitative study was designed to describe the psychometric properties of the artificial intelligence literacy questionnaire. The target population comprised students at Shahid Chamran University of Ahvaz, who were selected using a sample size determined by the number of questionnaire items. Face and content validity indices were evaluated, and confirmatory factor analysis was employed to assess construct validity. Item analysis was performed using a polytomous item response model, and Cronbach's alpha coefficient was calculated to determine reliability.
Findings: The instrument is structured around an eight-factor model comprising: (1) recognition and understanding of artificial intelligence, (2) use and application of artificial intelligence, (3) evaluation and creation of artificial intelligence, (4) artificial intelligence ethics, (5) artificial intelligence problem-solving, (6) artificial intelligence learning, (7) artificial intelligence persuasion literacy, and (8) emotion modulation with artificial intelligence. These eight factors load onto two broader components: "artificial intelligence literacy" and "artificial intelligence self-management." The finalized instrument consists of 30 items. Face validity confirmed the appropriateness of the items for Iranian students, and content validity demonstrated a logical relationship between items and factors. Confirmatory factor analysis indicated that the eight-factor model provides a robust structure for measuring artificial intelligence literacy, exhibiting a good fit with the empirical data. Furthermore, the items demonstrated good item discrimination across varying levels of respondent attitudes within the polytomous model. Reliability analyses confirmed acceptable internal consistency for both individual factors and the questionnaire as a whole.
Conclusion: The results indicate that this questionnaire effectively evaluates artificial intelligence-related skills and attitudes, serving as a useful instrument for researchers, educators, and professionals across diverse fields. Emphasizing psychological skills, the tool enhances the understanding and effective utilization of artificial intelligence while facilitating the development of targeted training programs. Because this study represents an initial effort to establish the reliability of this questionnaire, direct comparisons with prior research are limited. Furthermore, as no prior assessments have specifically measured the artificial intelligence literacy of students at Shahid Chamran University of Ahvaz, this study provides a foundational framework for future, more extensive investigations in this domain.
Originality/Value: A validated Persian-language instrument for measuring artificial intelligence literacy has been largely absent, highlighting a significant gap in the literature. This adapted questionnaire serves as an effective indicator for assessing artificial intelligence literacy and is recommended for evaluating literacy levels across various populations nationwide.

کلیدواژه‌ها [English]

  • Validity and reliability of artificial intelligence literacy questionnaire
جهانی‌فر، م. (1399). روایی‌سنجی و سنجش پایایی نسخه فارسی پرسش‌نامۀ انتظارات از درس فیزیک مریلند: کاربردی از مدل سؤال-پاسخ چند ارزشی. فصل‌نامه پژوهش‌های کاربردی روانشناختی، 11 (4)، 353-380.
دیانی، م. ح. (13۹۲). روش‌های تحقیق در کتابداری. مشهد: کتابخانه رایانه­ای.
کوهی­رستمی، م.، و جهانى­فر، م. (1401). سنجش اعتبار و بررسی پایایی نسخه فارسی پرسش‌نامه نگرش نسبت به خواندن تحصیلی ایساکسون و همکاران. تحقیقات اطلاع‌رسانی و کتابخانه‌های عمومی، ۲۸ (۲)، ۷۰-۸۹. doi:10.52547/publij.28.2.70
هو، ر. (1394). تحلیل داده‌های تک‌متغیره و چندمتغیره و تفسیر آن‌ها با SPSS. ترجمه ش. واحدی، و م. مقدم. تبریز: دانشگاه تبریز.
Biagini, G., Cuomo, S., & Ranieri, M. (2024). Developing and validating a multidimensional AI literacy questionnaire: Operationalizing AI literacy for higher education. In Proceedings of the First International Workshop on High-performance Artificial Intelligence Systems in Education (pp. 0-0). Edited by Daniele Schicchi, Davide Taibi, Marco Temperini.
Carolus, A., Augustin, Y., Markus, A., & Wienrich, C. (2023). Digital interaction literacy model–Conceptualizing competencies for literate interactions with voice-based AI systems. Computers and Education: Artificial Intelligence, 4, 100114.
Carolus, A., Koch, M. J., Straka, S., Latoschik, M. E., & Wienrich, C. (2023). MAILS-Meta AI literacy scale: Development and testing of an AI literacy questionnaire based on well-founded competency models and psychological change-and meta-competencies. Computers in Human Behavior: Artificial Humans, 1(2), 100014.
Dai, Y., Chai, C. S., Lin, P. Y., Jong, M. S. Y., Guo, Y., & Qin, J. (2020). Promoting students’ well-being by developing their readiness for the artificial intelligence age. Sustainability, 12(16), 6597.
Dayani, M. H. (2013). Research Methods in Librarianship. Mashhad: Computerized Library. [In Persian]
De Ayala, R. J. (2009). The theory and practice of item response theory. New York: Guilford Press.
Ho, R. (2015). Analysis of Univariate and Multivariate Data and Their Interpretation Using SPSS (Sh. Vahedi & M. Moghadam, Translators). Tabriz: University of Tabriz Press. [In Persian]
Jahanifar, M. (2021). A Validity and Reliability Assessment of the Persian Version of Maryland Physics Expectations Survey: Using a Polytomous Item Response Theory Model. Journal of Applied Psychological Research, 11(4), 353-380. doi:10.22059/japr.2021.302274.643515 [In Persian]
Kandlhofer, M., Steinbauer, G., Hirschmugl-Gaisch, S., & Huber, P. (2016, October). Artificial intelligence and computer science in education: From kindergarten to university. In 2016 IEEE frontiers in education conference (FIE) (pp. 1-9). IEEE.
Kelley, P. G., Yang, Y., Heldreth, C., Moessner, C., Sedley, A., Kramm, A., ... & Woodruff, A. (2021). Exciting, Useful, Worrying, Futuristic: Public Perception of Artificial Intelligence in 8 Countries. Association for Computing Machinery, New York, NY, USA, 627–637.
Kline, R. B. (2015). Principles and practice of structural equation modeling (4th ed.). New York: Guilford Press.
Koohi Rostami, M. & Jahnifar, M. (2022). Assessing the validity and reliability of the Persian version of the Isakson and et al. Reading Attitude Questionnaire. Research on Information Science and Public Libraries, 28(2), 89-70. doi:10.52547/publij.28.2.70 [In Persian]
Laupichler, M. C., Aster, A., Schirch, J., & Raupach, T. (2022). Artificial intelligence literacy in higher and adult education: A scoping literature review. Computers and Education: Artificial Intelligence.
Long, D., & Magerko, B. (2020, April). What is AI literacy? Competencies and design considerations. In Proceedings of the 2020 CHI conference on human factors in computing systems (pp. 1-16).
McCarthy, J. (2007). From here to human-level AI. Artificial Intelligence, 171(18), 1174-1182.
Ng, D. T. K., Leung, J. K. L., Chu, K. W. S., & Qiao, M. S. (2021). AI literacy: Definition, teaching, evaluation and ethical issues. Proceedings of the Association for Information Science and Technology, 58(1), 504-509.
Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041.
Polanco-Levicán, K., & Salvo-Garrido, S. (2022). Understanding social media literacy: A systematic review of the concept and its competences. International journal of environmental research and public health, 19(14), 8807.
Touretzky, D., Gardner-McCune, C., Martin, F., & Seehorn, D. (2019, July). Envisioning AI for K-12: What should every child know about AI?. In Proceedings of the AAAI conference on artificial intelligence, 33 (1), 9795-9799.
UNESCO Institute for Statistics. n.d. https://uis.unesco.org/node/3079547
Wang, B., Rau, P. L. P., & Yuan, T. (2023). Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale. Behaviour & information technology, 42(9), 1324-1337.
Wilton, L., Ip, S., Sharma, M., & Fan, F. (2022, July). Where is the ai? ai literacy for educators. In International Conference on Artificial Intelligence in Education (pp. 180-188). Cham: Springer International Publishing.
Wong, G. K., Ma, X., Dillenbourg, P., & Huan, J. (2020). Broadening artificial intelligence education in K-12: Where to start? ACM inroads, 11(1), 20-29.
World Economic Forum. (2020). The Future of Jobs Report 2020. Retrieved from https://www3.weforum.org/docs/WEF_Future_of_Jobs_2020.pdf
Zanon, C., Hutz, C. S., Yoo, H. H., & Hambleton, R. K. (2016). An application of item response theory to psychological test development. Psicologia: Reflexão e Crítica, 29, 1-10.
CAPTCHA Image