Sucesso ou Fracasso? desempenho do ChatGPT nas habilidades conceituais, procedimentais e atitudinais do exame de suficiência do CFC

Autores

DOI:

https://doi.org/10.16930/2237-766220243525

Palavras-chave:

ChatGPT, Exame de Suficiência, Inteligência Artificial, Habilidades

Resumo

Este estudo teve como objetivo identificar o desempenho do ChatGPT no exame de suficiência do Conselho Federal de Contabilidade (CFC), considerando habilidades conceituais, procedimentais e atitudinais. As habilidades conceituais referem-se às teorias e conceitos da Contabilidade; as habilidades procedimentais envolvem regras e técnicas necessárias para os objetivos profissionais; e as habilidades atitudinais representam disposições adquiridas para avaliar e agir em relação a diversas situações. Foram examinados todos os exames aplicados pelo CFC entre 2018 e 2022, submetendo-os à ferramenta de Inteligência Artificial (IA). Os resultados mostraram que o ChatGPT foi aprovado na maioria das edições analisadas (8 de 10), com bom desempenho em itens “conceituais” e de “interpretação de texto”, mas obteve resultados insatisfatórios em questões “procedimentais” e “atitudinais”. Esses achados indicam que a IA enfrenta desafios em áreas relacionadas à prática profissional e à aplicação do conhecimento contábil. Embora tenha se saído bem em algumas edições, sua aprovação foi, em parte, facilitada pelo número de itens anulados, ressaltando a dificuldade em resolver problemas contábeis mais complexos. A crescente presença de tecnologias como o ChatGPT levanta questões sobre o futuro dos profissionais contábeis e a necessidade de adaptação a um ambiente em constante evolução, no qual a automação pode permitir que os contadores se concentrem em atividades estratégicas, como análise financeira e consultoria. Assim, este estudo traz contribuições para os contadores, educadores e órgãos de controle sobre o impacto da tecnologia na Ciência Contábil, refletindo sobre os desafios, oportunidades e riscos que a evolução tecnológica impõe.

Referências

Andrade, C. B. H., & Mehlecke, Q. T. C. (2020). As inovações tecnológicas e a contabilidade digital: um estudo de caso sobre a aceitação da contabilidade digital no processo de geração de informação contábil em um escritório contábil do Vale do Paranhana/RS. Revista Eletrônica de Ciências Contábeis, 9(1), 93-122. https://seer.faccat.br/index.php/contabeis/article/view/1596

Bastosti, T. dos S.; Preto, V. M.; & Heinzle, M. R. S. (2017). Processos avaliativos na educação superior: os planos de ensino em análise. Revista Ibero-Americana de Estudos em Educação, 12(3), 1174-1791. https://doi.org/10.21732/riaee.v12.n.3.2017.8577 DOI: https://doi.org/10.21723/riaee.v12.n.3.2017.8577

Biswas, S. S. (2023). Role of chat GPT in public health. Annals of Biomedical Engineering, 51(5), 868-869. https://doi.org/10.1007/s10439-023-03172-7 DOI: https://doi.org/10.1007/s10439-023-03172-7

Breda, M. G., Moraes, A. C., França Lopes, I., & Meurer, A. M. (2021). Desenvolvimento de habilidades e competências técnicas no curso de Ciências Contábeis: percepções de alunos a luz da IFAC. Refas - Revista Fatec Zona Sul, 7(5), 1-23. https://www.revistarefas.com.br/RevFATECZS/article/view/433

Coll, C., Pozo, J. I., Sarabia, B., & Valls, E. (2000). Os conteúdos na reforma: Ensino e aprendizagem de conceitos, procedimentos e atitudes. ArtMed Editora.

Conselho Federal de Contabilidade (2015). Resolução do Conselho Federal de Contabilidade nº 1486 de 2015, Regulamenta o Exame de Suficiência como requisito para obtenção de Registro Profissional em Conselho Regional de Contabilidade (CRC). https://cfc.org.br/registro/legislacao/

Deng, J., & Lin, Y. (2023). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81-83. https://doi.org/10.54097/fcis.v2i2.4465 DOI: https://doi.org/10.54097/fcis.v2i2.4465

Dias, R., Sousa, F., & Trigo, A. (2023). Os contabilistas certificados e o ChatGPT. XIX Congresso Internacional de Contabilidade e Auditoria. https://www.researchgate.net/profile/Antonio-Trigo/publication/375162742_Certified_Accountants_and_ChatGPT/links/65426c123cc79d48c5c68a9b/Certified-Accountants-and-ChatGPT.pdf

Dolce, V., Emanuel, F., Cisi, M., & Ghislieri, C. (2020). The soft skills of Accounting graduates: perceptions versus expectations. Accounting Education, 29(1), 57-76. https://doi.org/10.1080/09639284.2019.1697937 DOI: https://doi.org/10.1080/09639284.2019.1697937

Dowling, M., & Lucey, B. (2023). ChatGPT for (Finance) research: The Bananarama Conjecture. Finance Research Letters, 53, 103662. https://doi.org/10.1016/j.frl.2023.103662 DOI: https://doi.org/10.1016/j.frl.2023.103662

Frasson, F., Laburú, C. E., & Zompero, A. F. (2019). Aprendizagem significativa conceitual, procedimental e atitudinal: uma releitura da Teoria Ausubeliana. Revista Contexto & Educação. https://dx.doi.org/10.21527/2179-1309.2019.108.303-318 DOI: https://doi.org/10.21527/2179-1309.2019.108.303-318

Freitas, M. M. de, Sallabery, J. D., Silva, T. B. J., & Rosa, F. S. (2023). Resolução de problemas contábeis como o ChatGPT 4. V International Conference in Management and Accounting (ICMA).

Instituto Federal do Rio Grande do Sul (2024). Centro Tecnológico de Acessibilidade – CTA. Disponível em: https://cta.ifrs.edu.br/

International Accounting Education Standard Board [IAESB]. (2014). International Education Standard 3, Initial Professional Development – Professional Skills (Revised). https://www.ifac.org/system/files/publications/files/IAESB-IES-3-Professional-skills.pdf

Johnson, D., Goodman, R., Patrinely, J., Stone, C., Zimmerman, E., Donald, R., Chang, S., Berkowitz, S., Finn, A., Jahangir, E., Scoville, E., Reese, T., Friedman, D., Bastarache, J., Heijden, Y. van der, Wright, J., Carter, N., Alexander, M., Choe, J., … Wheless, L. (2023). Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. In Research Square. https://doi.org/10.21203/rs.3.rs-2566942/v1 DOI: https://doi.org/10.21203/rs.3.rs-2566942/v1

Kroon, N., Alves, M. do C., & Martins, I. (2021). The impacts of emerging technologies on accountants’ role and skills: Connecting to open innovation—A systematic literature review. Journal of Open Innovation Technology Market and Complexity, 7(3), 163. https://doi.org/10.3390/joitmc7030163 DOI: https://doi.org/10.3390/joitmc7030163

Lei nº 9394/96, de 20 de dezembro de 1996. Dispõe sobre a Lei de Diretrizes e Bases da Educação Nacional. Diário Oficial da União. Brasília: Ministério da Educação.

Lira, T. A., Gomes, F. P., & Musial, N. T. K. (2020). Habilidades e Competências profissionais exigidas dos contadores: quais os requisitos dos anúncios de emprego? Revista Catarinense da Ciência Contábil, 20, 1-28. https://doi.org/10.1630/2237-7662202132271 DOI: https://doi.org/10.16930/2237-7662202132271

Lúzia, A. M. S. (2008). Panorama da educação brasileira frente ao terceiro milênio. Revista Eletrônica de Ciências.

Marconi, M. A., & Lakatos, E. M. (2019). Fundamentos de metodologia científica (6a ed.). Atlas.

Martins, G. A., & Theóphilo, C. R. (2007). Metodologia da investigação científica para Ciências Sociais Aplicadas. Atlas.

Martínez, C. E. L. (2023). La utilización de la inteligencia artificial CHAT - GPT para la identificación y evaluación de riesgos, realizada en el marco de una auditoría a los estados financieros de empresas que cotizan en el mercado público de valores de Colombia. [Tese de Doutorado, Universidad Autónoma de Bucaramanga UNAB].

Miranda, C. S., Lima, J. P. R. de, & Souza, T. C. de. (2021). Habilidades dos recém-formados em contabilidade: análise da percepção dos profissionais de recrutamento. Revista de Contabilidade da UFBA, 15. https://periodicos.ufba.br/index.php/rcontabilidade/article/view/42987 DOI: https://doi.org/10.9771/rc-ufba.v15i0.42987

Oliveira, J., & Khatib, A. (2023). Man or machine? An exploratory study of the performance of chat GPT 3.5 in the CFC sufficiency exam. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4560434 DOI: https://doi.org/10.2139/ssrn.4560434

OpenAI. (2023). ChatGPT. Get instant answers, find creative inspiration, learn something new. https://openai.com/chatgpt

Pacheco, E., & Camilo, S. P. O. (2020). Competências essenciais requeridas na contratação de profissionais em início de carreira. RAGC, 8(32), 117-131.

Pasquarelli, B. V. L., Oliveira, T. B. (2017). Aprendizagem baseada em projetos e formação de professores: uma possibilidade de articulação entre as dimensões estratégica, humana e sócio-política da didática. Góndola, Enseñ Aprend Cienc, 12(2), 186-203. https://doi.org/10.14483/23464712.10903 DOI: https://doi.org/10.14483/23464712.10903

Patel, S. B., & Lam, K. (2023). ChatGPT: the future of discharge summaries? The Lancet. Digital Health, 5(3), e107-e108. https://doi.org/10.1016/S2589-7500(23)00021-3 DOI: https://doi.org/10.1016/S2589-7500(23)00021-3

Perrenoud, P. (2002). As competências para ensinar no século XXI. Porto Alegre: Armed.

Resolução CNE/CES nº 01 de março de 2024. Dispões sobre as novas diretrizes curriculares do curso de Ciências Contábeis. Diário Oficial da União. Ministério da Educação. http://portal.mec.gov.br/docman/marco-2024/257031-rces001-24/file

Rossoni, L. (2022). A inteligência artificial e eu: escrevendo o editorial juntamente com o ChatGPT. Revista Eletrônica de Ciência Administrativa, 21(3), 399-405. https://doi.org/10.21529/recadm.2022ed3 DOI: https://doi.org/10.21529/RECADM.2022ed3

Silva, O. L. (2014). Avaliação das habilidades conceituais, procedimentais, atitudinais: estudo no exame de suficiência em Contabilidade 2013-2013. [Dissertação de Mestrado, Universidade Federal do Paraná].

Silva, O. L., Colauto, R. D., Sibim, M. C., Tonim, J. M. F., & Machado, D. P. (2015). Avaliação de habilidades e competências em custos no exame de suficiência. XXII Congresso Brasileiro de Custos, Foz do Iguaçu, 11 a 13 nov. DOI: https://doi.org/10.47179/abcustos.v11i2.377

Street, D., & Wilck, J. (2023). 'Let’s Have a Chat': Principles for the Effective Application of ChatGPT and Large Language Models in the Practice of Forensic Accounting. Availableat SSRN 4351817. DOI: https://doi.org/10.2139/ssrn.4351817

Surameery, N. M. S., & Shakor, M. Y. (2023). Use Chat GPT to solve programming bugs. International Journal of Information Technology & Computer Engineering (IJITC), 3(31), 17-22. https://doi.org/10.55529/ijitc.31.17.22 DOI: https://doi.org/10.55529/ijitc.31.17.22

Zabala, A. (1998). A prática educativa: como ensinar. (2a ed.). Artmed, 1998.

Zaremba, A., & Demir, E. (2023). ChatGPT: Unlocking the future of NLP in finance. Modern Finance, 1(1), 93-98. https://doi.org/10.61351/mf.v1i1.43 DOI: https://doi.org/10.61351/mf.v1i1.43

Publicado

2024-11-22

Como Citar

Godke, C. de F. G., Silva, O. L. da, Colauto, R. D., Cunha, J. V. A. da, & Durso, S. de O. (2024). Sucesso ou Fracasso? desempenho do ChatGPT nas habilidades conceituais, procedimentais e atitudinais do exame de suficiência do CFC. Revista Catarinense Da Ciência Contábil, 23, e3525. https://doi.org/10.16930/2237-766220243525

Edição

Seção

Artigos