Sucesso ou Fracasso? desempenho do ChatGPT nas habilidades conceituais, procedimentais e atitudinais do exame de suficiência do CFC
DOI:
https://doi.org/10.16930/2237-766220243525Palavras-chave:
ChatGPT, Exame de Suficiência, Inteligência Artificial, HabilidadesResumo
Este estudo teve como objetivo identificar o desempenho do ChatGPT no exame de suficiência do Conselho Federal de Contabilidade (CFC), considerando habilidades conceituais, procedimentais e atitudinais. As habilidades conceituais referem-se às teorias e conceitos da Contabilidade; as habilidades procedimentais envolvem regras e técnicas necessárias para os objetivos profissionais; e as habilidades atitudinais representam disposições adquiridas para avaliar e agir em relação a diversas situações. Foram examinados todos os exames aplicados pelo CFC entre 2018 e 2022, submetendo-os à ferramenta de Inteligência Artificial (IA). Os resultados mostraram que o ChatGPT foi aprovado na maioria das edições analisadas (8 de 10), com bom desempenho em itens “conceituais” e de “interpretação de texto”, mas obteve resultados insatisfatórios em questões “procedimentais” e “atitudinais”. Esses achados indicam que a IA enfrenta desafios em áreas relacionadas à prática profissional e à aplicação do conhecimento contábil. Embora tenha se saído bem em algumas edições, sua aprovação foi, em parte, facilitada pelo número de itens anulados, ressaltando a dificuldade em resolver problemas contábeis mais complexos. A crescente presença de tecnologias como o ChatGPT levanta questões sobre o futuro dos profissionais contábeis e a necessidade de adaptação a um ambiente em constante evolução, no qual a automação pode permitir que os contadores se concentrem em atividades estratégicas, como análise financeira e consultoria. Assim, este estudo traz contribuições para os contadores, educadores e órgãos de controle sobre o impacto da tecnologia na Ciência Contábil, refletindo sobre os desafios, oportunidades e riscos que a evolução tecnológica impõe.
Referências
Andrade, C. B. H., & Mehlecke, Q. T. C. (2020). As inovações tecnológicas e a contabilidade digital: um estudo de caso sobre a aceitação da contabilidade digital no processo de geração de informação contábil em um escritório contábil do Vale do Paranhana/RS. Revista Eletrônica de Ciências Contábeis, 9(1), 93-122. https://seer.faccat.br/index.php/contabeis/article/view/1596
Bastosti, T. dos S.; Preto, V. M.; & Heinzle, M. R. S. (2017). Processos avaliativos na educação superior: os planos de ensino em análise. Revista Ibero-Americana de Estudos em Educação, 12(3), 1174-1791. https://doi.org/10.21732/riaee.v12.n.3.2017.8577
Biswas, S. S. (2023). Role of chat GPT in public health. Annals of Biomedical Engineering, 51(5), 868-869. https://doi.org/10.1007/s10439-023-03172-7
Breda, M. G., Moraes, A. C., França Lopes, I., & Meurer, A. M. (2021). Desenvolvimento de habilidades e competências técnicas no curso de Ciências Contábeis: percepções de alunos a luz da IFAC. Refas - Revista Fatec Zona Sul, 7(5), 1-23. https://www.revistarefas.com.br/RevFATECZS/article/view/433
Coll, C., Pozo, J. I., Sarabia, B., & Valls, E. (2000). Os conteúdos na reforma: Ensino e aprendizagem de conceitos, procedimentos e atitudes. ArtMed Editora.
Conselho Federal de Contabilidade (2015). Resolução do Conselho Federal de Contabilidade nº 1486 de 2015, Regulamenta o Exame de Suficiência como requisito para obtenção de Registro Profissional em Conselho Regional de Contabilidade (CRC). https://cfc.org.br/registro/legislacao/
Deng, J., & Lin, Y. (2023). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81-83. https://doi.org/10.54097/fcis.v2i2.4465
Dias, R., Sousa, F., & Trigo, A. (2023). Os contabilistas certificados e o ChatGPT. XIX Congresso Internacional de Contabilidade e Auditoria. https://www.researchgate.net/profile/Antonio-Trigo/publication/375162742_Certified_Accountants_and_ChatGPT/links/65426c123cc79d48c5c68a9b/Certified-Accountants-and-ChatGPT.pdf
Dolce, V., Emanuel, F., Cisi, M., & Ghislieri, C. (2020). The soft skills of Accounting graduates: perceptions versus expectations. Accounting Education, 29(1), 57-76. https://doi.org/10.1080/09639284.2019.1697937
Dowling, M., & Lucey, B. (2023). ChatGPT for (Finance) research: The Bananarama Conjecture. Finance Research Letters, 53, 103662. https://doi.org/10.1016/j.frl.2023.103662
Frasson, F., Laburú, C. E., & Zompero, A. F. (2019). Aprendizagem significativa conceitual, procedimental e atitudinal: uma releitura da Teoria Ausubeliana. Revista Contexto & Educação. https://dx.doi.org/10.21527/2179-1309.2019.108.303-318
Freitas, M. M. de, Sallabery, J. D., Silva, T. B. J., & Rosa, F. S. (2023). Resolução de problemas contábeis como o ChatGPT 4. V International Conference in Management and Accounting (ICMA).
Instituto Federal do Rio Grande do Sul (2024). Centro Tecnológico de Acessibilidade – CTA. Disponível em: https://cta.ifrs.edu.br/
International Accounting Education Standard Board [IAESB]. (2014). International Education Standard 3, Initial Professional Development – Professional Skills (Revised). https://www.ifac.org/system/files/publications/files/IAESB-IES-3-Professional-skills.pdf
Johnson, D., Goodman, R., Patrinely, J., Stone, C., Zimmerman, E., Donald, R., Chang, S., Berkowitz, S., Finn, A., Jahangir, E., Scoville, E., Reese, T., Friedman, D., Bastarache, J., Heijden, Y. van der, Wright, J., Carter, N., Alexander, M., Choe, J., … Wheless, L. (2023). Assessing the accuracy and reliability of AI-generated medical responses: An evaluation of the chat-GPT model. In Research Square. https://doi.org/10.21203/rs.3.rs-2566942/v1
Kroon, N., Alves, M. do C., & Martins, I. (2021). The impacts of emerging technologies on accountants’ role and skills: Connecting to open innovation—A systematic literature review. Journal of Open Innovation Technology Market and Complexity, 7(3), 163. https://doi.org/10.3390/joitmc7030163
Lei nº 9394/96, de 20 de dezembro de 1996. Dispõe sobre a Lei de Diretrizes e Bases da Educação Nacional. Diário Oficial da União. Brasília: Ministério da Educação.
Lira, T. A., Gomes, F. P., & Musial, N. T. K. (2020). Habilidades e Competências profissionais exigidas dos contadores: quais os requisitos dos anúncios de emprego? Revista Catarinense da Ciência Contábil, 20, 1-28. https://doi.org/10.1630/2237-7662202132271
Lúzia, A. M. S. (2008). Panorama da educação brasileira frente ao terceiro milênio. Revista Eletrônica de Ciências.
Marconi, M. A., & Lakatos, E. M. (2019). Fundamentos de metodologia científica (6a ed.). Atlas.
Martins, G. A., & Theóphilo, C. R. (2007). Metodologia da investigação científica para Ciências Sociais Aplicadas. Atlas.
Martínez, C. E. L. (2023). La utilización de la inteligencia artificial CHAT - GPT para la identificación y evaluación de riesgos, realizada en el marco de una auditoría a los estados financieros de empresas que cotizan en el mercado público de valores de Colombia. [Tese de Doutorado, Universidad Autónoma de Bucaramanga UNAB].
Miranda, C. S., Lima, J. P. R. de, & Souza, T. C. de. (2021). Habilidades dos recém-formados em contabilidade: análise da percepção dos profissionais de recrutamento. Revista de Contabilidade da UFBA, 15. https://periodicos.ufba.br/index.php/rcontabilidade/article/view/42987
Oliveira, J., & Khatib, A. (2023). Man or machine? An exploratory study of the performance of chat GPT 3.5 in the CFC sufficiency exam. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4560434
OpenAI. (2023). ChatGPT. Get instant answers, find creative inspiration, learn something new. https://openai.com/chatgpt
Pacheco, E., & Camilo, S. P. O. (2020). Competências essenciais requeridas na contratação de profissionais em início de carreira. RAGC, 8(32), 117-131.
Pasquarelli, B. V. L., Oliveira, T. B. (2017). Aprendizagem baseada em projetos e formação de professores: uma possibilidade de articulação entre as dimensões estratégica, humana e sócio-política da didática. Góndola, Enseñ Aprend Cienc, 12(2), 186-203. https://doi.org/10.14483/23464712.10903
Patel, S. B., & Lam, K. (2023). ChatGPT: the future of discharge summaries? The Lancet. Digital Health, 5(3), e107-e108. https://doi.org/10.1016/S2589-7500(23)00021-3
Perrenoud, P. (2002). As competências para ensinar no século XXI. Porto Alegre: Armed.
Resolução CNE/CES nº 01 de março de 2024. Dispões sobre as novas diretrizes curriculares do curso de Ciências Contábeis. Diário Oficial da União. Ministério da Educação. http://portal.mec.gov.br/docman/marco-2024/257031-rces001-24/file
Rossoni, L. (2022). A inteligência artificial e eu: escrevendo o editorial juntamente com o ChatGPT. Revista Eletrônica de Ciência Administrativa, 21(3), 399-405. https://doi.org/10.21529/recadm.2022ed3
Silva, O. L. (2014). Avaliação das habilidades conceituais, procedimentais, atitudinais: estudo no exame de suficiência em Contabilidade 2013-2013. [Dissertação de Mestrado, Universidade Federal do Paraná].
Silva, O. L., Colauto, R. D., Sibim, M. C., Tonim, J. M. F., & Machado, D. P. (2015). Avaliação de habilidades e competências em custos no exame de suficiência. XXII Congresso Brasileiro de Custos, Foz do Iguaçu, 11 a 13 nov.
Street, D., & Wilck, J. (2023). 'Let’s Have a Chat': Principles for the Effective Application of ChatGPT and Large Language Models in the Practice of Forensic Accounting. Availableat SSRN 4351817.
Surameery, N. M. S., & Shakor, M. Y. (2023). Use Chat GPT to solve programming bugs. International Journal of Information Technology & Computer Engineering (IJITC), 3(31), 17-22. https://doi.org/10.55529/ijitc.31.17.22
Zabala, A. (1998). A prática educativa: como ensinar. (2a ed.). Artmed, 1998.
Zaremba, A., & Demir, E. (2023). ChatGPT: Unlocking the future of NLP in finance. Modern Finance, 1(1), 93-98. https://doi.org/10.61351/mf.v1i1.43
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2024 Revista Catarinense da Ciência Contábil
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Os direitos autorais para artigos publicados nesta revista pertencem ao(s) respectivo(s) autor(es), com direitos de primeira publicação cedidos para a Revista Catarinense da Ciência Contábil - RCCC. Em virtude de aparecerem nesta revista de acesso público, os artigos são de uso gratuito, com obrigatoriedade de reconhecimento da autoria original e da publicação inicial nesta revista. A revista permitirá o uso dos trabalhos publicados, incluindo direito de enviar o trabalho para bases de dados de acesso público. O conteúdo dos artigos publicados são de total e exclusiva responsabilidade dos autores.
- O(s) autor(es) autoriza(m) a publicação do artigo na revista;
- O(s) autor(es) garante(m) que a contribuição é original e inédita e que não está em processo de avaliação em outra(s) revista(s);
- A revista não se responsabiliza pelas opiniões, ideias e conceitos emitidos nos textos, por serem de inteira responsabilidade de seu(s) autor(es);
- É reservado aos editores o direito de proceder ajustes textuais e de adequação do artigo às normas da publicação.
Esta obra está licenciada com uma Licença Creative Commons Atribuição 4.0 Internacional.
