Success or failure? Performance of chatgpt in the conceptual, procedural, and attitudinal skills of the CFC sufficiency exam
DOI:
https://doi.org/10.16930/2237-766220243525Keywords:
ChatGPT, Sufficiency Exam, Skills, Artificial IntelligenceAbstract
This study aimed to identify the performance of ChatGPT in the sufficiency exam of the Federal Accounting Council (CFC), considering conceptual, procedural, and attitudinal skills. Conceptual skills refer to the theories and concepts of Accounting; procedural skills involve the rules and techniques necessary for professional objectives; and attitudinal skills represent acquired dispositions to assess and act in various situations. All exams administered by the CFC between 2018 and 2022 were analyzed using the Artificial Intelligence (AI) tool. The results showed that ChatGPT passed the majority of the editions analyzed (8 out of 10), performing well on "conceptual" and "text interpretation" items but yielding unsatisfactory results on "procedural" and "attitudinal" questions. These findings indicate that AI faces challenges in areas related to professional practice and the application of accounting knowledge. While it performed well in some editions, its approval was partly facilitated by the number of nullified items, highlighting its difficulty in solving more complex accounting problems. The increasing presence of technologies such as ChatGPT raises questions about the future of accounting professionals and the need to adapt to an ever-evolving environment, where automation may allow accountants to focus on strategic activities, such as financial analysis and consulting. Thus, this study offers contributions to accountants, educators, and regulatory bodies regarding the impact of technology on Accounting Science, reflecting on the challenges, opportunities, and risks imposed by technological evolution.
References
Andrade, C. B. H., & Mehlecke, Q. T. C. (2020). As inovações tecnológicas e a contabilidade digital: um estudo de caso sobre a aceitação da contabilidade digital no processo de geração de informação contábil em um escritório contábil do Vale do Paranhana/RS. Revista Eletrônica de Ciências Contábeis, 9(1), 93-122. https://seer.faccat.br/index.php/contabeis/article/view/1596
Bastosti, T. dos S.; Preto, V. M.; & Heinzle, M. R. S. (2017). Processos avaliativos na educação superior: os planos de ensino em análise. Revista Ibero-Americana de Estudos em Educação, 12(3), 1174-1791. https://doi.org/10.21732/riaee.v12.n.3.2017.8577
Biswas, S. S. (2023). Role of chat GPT in public health. Annals of Biomedical Engineering, 51(5), 868-869. https://doi.org/10.1007/s10439-023-03172-7
Breda, M. G., Moraes, A. C., França Lopes, I., & Meurer, A. M. (2021). Desenvolvimento de habilidades e competências técnicas no curso de Ciências Contábeis: percepções de alunos a luz da IFAC. Refas - Revista Fatec Zona Sul, 7(5), 1-23. https://www.revistarefas.com.br/RevFATECZS/article/view/433
Coll, C., Pozo, J. I., Sarabia, B., & Valls, E. (2000). Os conteúdos na reforma: Ensino e aprendizagem de conceitos, procedimentos e atitudes. ArtMed Editora.
Conselho Federal de Contabilidade (2015). Resolução do Conselho Federal de Contabilidade nº 1486 de 2015, Regulamenta o Exame de Suficiência como requisito para obtenção de Registro Profissional em Conselho Regional de Contabilidade (CRC). https://cfc.org.br/registro/legislacao/
Deng, J., & Lin, Y. (2023). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81-83. https://doi.org/10.54097/fcis.v2i2.4465
Dias, R., Sousa, F., & Trigo, A. (2023). Os contabilistas certificados e o ChatGPT. XIX Congresso Internacional de Contabilidade e Auditoria. https://www.researchgate.net/profile/Antonio-Trigo/publication/375162742_Certified_Accountants_and_ChatGPT/links/65426c123cc79d48c5c68a9b/Certified-Accountants-and-ChatGPT.pdf
Dolce, V., Emanuel, F., Cisi, M., & Ghislieri, C. (2020). The soft skills of Accounting graduates: perceptions versus expectations. Accounting Education, 29(1), 57-76. https://doi.org/10.1080/09639284.2019.1697937
Dowling, M., & Lucey, B. (2023). ChatGPT for (Finance) research: The Bananarama Conjecture. Finance Research Letters, 53, 103662. https://doi.org/10.1016/j.frl.2023.103662
Frasson, F., Laburú, C. E., & Zompero, A. F. (2019). Aprendizagem significativa conceitual, procedimental e atitudinal: uma releitura da Teoria Ausubeliana. Revista Contexto & Educação. https://dx.doi.org/10.21527/2179-1309.2019.108.303-318
Freitas, M. M. de, Sallabery, J. D., Silva, T. B. J., & Rosa, F. S. (2023). Resolução de problemas contábeis como o ChatGPT 4. V International Conference in Management and Accounting (ICMA).
Instituto Federal do Rio Grande do Sul (2024). Centro Tecnológico de Acessibilidade – CTA. Disponível em: https://cta.ifrs.edu.br/
International Accounting Education Standard Board [IAESB]. (2014). International Education Standard 3, Initial Professional Development – Professional Skills (Revised). https://www.ifac.org/system/files/publications/files/IAESB-IES-3-Professional-skills.pdf
Johnson, D., Goodman, R., Patrinely, J., Stone, C., Zimmerman, E., Donald, R., Chang, S., Berkowitz, S., Finn, A., Jahangir, E., Scoville, E., Reese, T., Friedman, D., Bastarache, J., Heijden, Y. van der, Wright, J., Carter, N., Alexander, M., Choe, J., … Wheless, L. (2023). Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. In Research Square. https://doi.org/10.21203/rs.3.rs-2566942/v1
Kroon, N., Alves, M. do C., & Martins, I. (2021). The impacts of emerging technologies on accountants’ role and skills: Connecting to open innovation—A systematic literature review. Journal of Open Innovation Technology Market and Complexity, 7(3), 163. https://doi.org/10.3390/joitmc7030163
Lei nº 9394/96, de 20 de dezembro de 1996. Dispõe sobre a Lei de Diretrizes e Bases da Educação Nacional. Diário Oficial da União. Brasília: Ministério da Educação.
Lira, T. A., Gomes, F. P., & Musial, N. T. K. (2020). Habilidades e Competências profissionais exigidas dos contadores: quais os requisitos dos anúncios de emprego? Revista Catarinense da Ciência Contábil, 20, 1-28. https://doi.org/10.1630/2237-7662202132271
Lúzia, A. M. S. (2008). Panorama da educação brasileira frente ao terceiro milênio. Revista Eletrônica de Ciências.
Marconi, M. A., & Lakatos, E. M. (2019). Fundamentos de metodologia científica (6a ed.). Atlas.
Martins, G. A., & Theóphilo, C. R. (2007). Metodologia da investigação científica para Ciências Sociais Aplicadas. Atlas.
Martínez, C. E. L. (2023). La utilización de la inteligencia artificial CHAT - GPT para la identificación y evaluación de riesgos, realizada en el marco de una auditoría a los estados financieros de empresas que cotizan en el mercado público de valores de Colombia. [Tese de Doutorado, Universidad Autónoma de Bucaramanga UNAB].
Miranda, C. S., Lima, J. P. R. de, & Souza, T. C. de. (2021). Habilidades dos recém-formados em contabilidade: análise da percepção dos profissionais de recrutamento. Revista de Contabilidade da UFBA, 15. https://periodicos.ufba.br/index.php/rcontabilidade/article/view/42987
Oliveira, J., & Khatib, A. (2023). Man or machine? An exploratory study of the performance of chat GPT 3.5 in the CFC sufficiency exam. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4560434
OpenAI. (2023). ChatGPT. Get instant answers, find creative inspiration, learn something new. https://openai.com/chatgpt
Pacheco, E., & Camilo, S. P. O. (2020). Competências essenciais requeridas na contratação de profissionais em início de carreira. RAGC, 8(32), 117-131.
Pasquarelli, B. V. L., Oliveira, T. B. (2017). Aprendizagem baseada em projetos e formação de professores: uma possibilidade de articulação entre as dimensões estratégica, humana e sócio-política da didática. Góndola, Enseñ Aprend Cienc, 12(2), 186-203. https://doi.org/10.14483/23464712.10903
Patel, S. B., & Lam, K. (2023). ChatGPT: the future of discharge summaries? The Lancet. Digital Health, 5(3), e107-e108. https://doi.org/10.1016/S2589-7500(23)00021-3
Perrenoud, P. (2002). As competências para ensinar no século XXI. Porto Alegre: Armed.
Resolução CNE/CES nº 01 de março de 2024. Dispões sobre as novas diretrizes curriculares do curso de Ciências Contábeis. Diário Oficial da União. Ministério da Educação. http://portal.mec.gov.br/docman/marco-2024/257031-rces001-24/file
Rossoni, L. (2022). A inteligência artificial e eu: escrevendo o editorial juntamente com o ChatGPT. Revista Eletrônica de Ciência Administrativa, 21(3), 399-405. https://doi.org/10.21529/recadm.2022ed3
Silva, O. L. (2014). Avaliação das habilidades conceituais, procedimentais, atitudinais: estudo no exame de suficiência em Contabilidade 2013-2013. [Dissertação de Mestrado, Universidade Federal do Paraná].
Silva, O. L., Colauto, R. D., Sibim, M. C., Tonim, J. M. F., & Machado, D. P. (2015). Avaliação de habilidades e competências em custos no exame de suficiência. XXII Congresso Brasileiro de Custos, Foz do Iguaçu, 11 a 13 nov.
Street, D., & Wilck, J. (2023). 'Let’s Have a Chat': Principles for the Effective Application of ChatGPT and Large Language Models in the Practice of Forensic Accounting. Availableat SSRN 4351817.
Surameery, N. M. S., & Shakor, M. Y. (2023). Use Chat GPT to solve programming bugs. International Journal of Information Technology & Computer Engineering (IJITC), 3(31), 17-22. https://doi.org/10.55529/ijitc.31.17.22
Zabala, A. (1998). A prática educativa: como ensinar. (2a ed.). Artmed, 1998.
Zaremba, A., & Demir, E. (2023). ChatGPT: Unlocking the future of NLP in finance. Modern Finance, 1(1), 93-98. https://doi.org/10.61351/mf.v1i1.43
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Revista Catarinense da Ciência Contábil
This work is licensed under a Creative Commons Attribution 4.0 International License.
The copyright for articles published in this journal belongs to the author (s), with first publication rights assigned to Revista Catarinense da Ciência Contábil. Due to appearing in this publicly accessible journal, articles are free to use, with mandatory recognition of the original authorship and initial publication in this magazine and for educational and non-commercial applications. The magazine chose to use published works for non-commercial purposes, including the right to submit or work for publicly accessible databases. The content of published articles is the sole and exclusive responsibility of the authors. - The author (s) authorize (s) a publication of the article in the journal; - The author (s) guarantee (s) that a contribution is original and unpublished and that it is not being evaluated in another magazine (s); - A magazine is not responsible for the opinions, ideas and concepts emitted in the texts, for the full responsibility of the author (s); - It is reserved to the editors or the right to make textual adjustments and to adjust the article to the publication rules.
This work is licensed under a Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0 Internacional.
