Um estudo massivo de crowdsourcing foi feito com 327 coautores em 186 instituições de 14 países.
Por Universidade Brigham Young com informações de Science Daily.
A OpenAI lançou seu mais novo produto AI chatbot, o GPT-4. De acordo com o pessoal da OpenAI, o bot, que usa aprendizado de máquina para gerar texto em linguagem natural, passou no exame da ordem de advogados dos USA (bar examination), com uma pontuação no percentil 90, passou em 13 dos 15 exames AP e obteve uma pontuação quase perfeita no teste GRE Verbal .
As mentes indagadoras da BYU e de outras 186 universidades queriam saber como a tecnologia da OpenAI se sairia nos exames de contabilidade. Então, eles colocaram a versão original, ChatGPT, à prova. Os pesquisadores dizem que, embora ainda haja trabalho a fazer no campo da contabilidade, é uma virada de jogo que mudará a maneira como todos ensinam e aprendem – para melhor.
“Quando essa tecnologia surgiu, todos estavam preocupados que os alunos pudessem usá-la para trapacear”, disse o principal autor do estudo, David Wood, professor de contabilidade da BYU. “Mas as oportunidades de trapacear sempre existiram. Então, para nós, estamos tentando focar no que podemos fazer com essa tecnologia agora que não podíamos fazer antes para melhorar o processo de ensino para o corpo docente e o processo de aprendizagem para os alunos. Testá-lo foi revelador.”
Desde sua estreia em novembro de 2022, o ChatGPT se tornou a plataforma de tecnologia de crescimento mais rápido de todos os tempos, atingindo 100 milhões de usuários em menos de dois meses. Em resposta ao intenso debate sobre como modelos como o ChatGPT deveriam ser considerados na educação, Wood decidiu recrutar o maior número possível de professores para ver como a IA se saía em relação aos estudantes universitários de contabilidade.
Seu discurso de recrutamento de coautores nas mídias sociais explodiu: 327 coautores de 186 instituições educacionais em 14 países participaram da pesquisa, contribuindo com 25.181 questões de exames de contabilidade em sala de aula. Eles também recrutaram estudantes de graduação da BYU (incluindo a filha de Wood, Jessica) para enviar mais 2.268 perguntas de bancos de testes de livros didáticos para o ChatGPT. As questões abrangiam sistemas de informação contábil (AIS), auditoria, contabilidade financeira, contabilidade gerencial e tributária, e variavam em dificuldade e tipo (verdadeiro/falso, múltipla escolha, resposta curta, etc.).
Embora o desempenho do ChatGPT tenha sido impressionante, os alunos tiveram um desempenho melhor. Os alunos obtiveram uma média geral de 76,7%, em comparação com a pontuação do ChatGPT de 47,4%. Em 11,3% das perguntas, o ChatGPT teve uma pontuação mais alta do que a média dos alunos, indo particularmente bem em AIS e auditoria. Mas o bot de IA se saiu pior em avaliações fiscais, financeiras e gerenciais, possivelmente porque o ChatGPT lutou com os processos matemáticos necessários.
Quando se trata do tipo de questão, o ChatGPT se saiu melhor em questões de verdadeiro/falso (68,7% de acerto) e questões de múltipla escolha (59,5%), mas teve dificuldades com questões de resposta curta (entre 28,7% e 39,1%). Em geral, as perguntas de ordem superior eram mais difíceis de responder pelo ChatGPT. Na verdade, às vezes o ChatGPT fornece descrições por escrito autorizativas para respostas incorretas ou responde à mesma pergunta de maneiras diferentes.
“Não é perfeito; você não vai usá-lo para tudo”, disse Jessica Wood, atualmente caloura na BYU. “Tentar aprender apenas usando o ChatGPT é uma tarefa tola.”
Os pesquisadores também descobriram algumas outras tendências fascinantes através do estudo, incluindo:
- O ChatGPT nem sempre reconhece quando está fazendo matemática e comete erros sem sentido, como adicionar dois números em um problema de subtração ou dividir números incorretamente.
- O ChatGPT geralmente fornece explicações para suas respostas, mesmo que estejam incorretas. Outras vezes, as descrições do ChatGPT são precisas, mas ele continuará selecionando a resposta de múltipla escolha errada.
- Às vezes, o ChatGPT inventa fatos. Por exemplo, ao fornecer uma referência, gera uma referência de aparência real que é totalmente fabricada. A obra e às vezes os autores nem existem.
Dito isso, os autores esperam que o GPT-4 melhore exponencialmente nas questões contábeis colocadas em seu estudo e nas questões mencionadas acima. O que eles acham mais promissor é como o chatbot pode ajudar a melhorar o ensino e a aprendizagem, incluindo a capacidade de projetar e testar tarefas, ou talvez ser usado para esboçar partes de um projeto.
“É uma oportunidade para refletir se estamos ensinando informações de valor agregado ou não”, disse a coautora do estudo e professora de contabilidade da BYU, Melissa Larson. “Isso é uma interrupção e precisamos avaliar para onde vamos a partir daqui. Claro, ainda terei ATs, mas isso nos forçará a usá-los de maneiras diferentes.”
Fonte da história:
Materiais fornecidos pela Universidade Brigham Young. Original escrito por Todd Hollingshead. Observação: o conteúdo pode ser editado quanto ao estilo e tamanho.
Referência do periódico :
Mitchell J. Oler, Derek K. Oler, Kari Joseph Olsen, John I. Otalor, Kyle W. Outlaw, Michael. E. Ozlanski, Jenny Parlier, Jeffrey S. Paterson, Christopher A. Pearson, Michael J. Petersen, Steven T. Petra, Matthew D. Pickard, Jeffrey Pickerd, Robert Pinsker, Catherine Plante, James M. Plečnik, Richard A. Price , Linda A. Quick, Jana Raedy, Robyn Raschke, Julie Ravenscraft, Vernon Richardson, Brett A. Rixom, John F. Robertson, Iyad Rock, Miles A. Romney, Andrea Rozario, Michael F. Ruff, Kathleen Rupley, Ali Saeedi, Aaron Saiewitz, Leigh W. Salzsieder, Sayan Sarkar, Michael Saulls, Tialei A. Scanlan, Tammie J. Schaefer, Daniel Schaupp, Gary P. Schneider, Andreas Seebeck, R. Drew Sellers, Samantha C. Seto, Romi-Lee Sevel, Yuxin Shan, Matthew G. Sherwood, Maggie Singorahardjo, Hanna Kristin Skaftadottir, Justyna Skomra, Jason L. Smith, Dallin O. Smith,O Chatbot de Inteligência Artificial ChatGPT: Responde Bem às Questões de Avaliação Contábil? Questões em Educação Contábil , 2023; 1 DOI: 10.2308/ISSUES-2023-013
