{"id":62621,"date":"2023-04-13T00:10:00","date_gmt":"2023-04-13T03:10:00","guid":{"rendered":"https:\/\/www.ufrgs.br\/jornal\/?p=62621"},"modified":"2025-01-13T11:48:24","modified_gmt":"2025-01-13T14:48:24","slug":"chatgpt-impacta-rotinas-na-pesquisa-e-na-educacao-e-levanta-questionamentos-sobre-veracidade-e-metodologias-de-avaliacao","status":"publish","type":"post","link":"https:\/\/www.ufrgs.br\/jornal\/chatgpt-impacta-rotinas-na-pesquisa-e-na-educacao-e-levanta-questionamentos-sobre-veracidade-e-metodologias-de-avaliacao\/","title":{"rendered":"ChatGPT impacta rotinas na pesquisa e na educa\u00e7\u00e3o e levanta questionamentos sobre veracidade e metodologias de avalia\u00e7\u00e3o"},"content":{"rendered":"\n

Atualidade | Professores, alunos e pesquisadores s\u00e3o for\u00e7ados a atualizar suas pr\u00e1ticas diante da disponibiliza\u00e7\u00e3o de ferramentas de intelig\u00eancia artificial, mas desconhecimento sobre o funcionamento das novas tecnologias ainda \u00e9 grande<\/h4>\n\n\n\n

*Imagem: Fl\u00e1vio Dutra \u2013 Dall-E\/ JU – Na linha de cima, reprodu\u00e7\u00e3o de resultado produzido pelo Dall-E,
aplicativo de produ\u00e7\u00e3o de imagens via Intelig\u00eancia Artificial para solicita\u00e7\u00e3o que pedia representa\u00e7\u00f5es sobre o tema.
Na linha de baixo, as mesmas imagens retrabalhadas em software de tratamento de imagens<\/em><\/p>\n\n\n\n

Em novembro de 2022, a organiza\u00e7\u00e3o OpenAI disponibilizou, de forma gratuita e para qualquer pessoa, o acesso a um programa de computador que fala como gente. Voc\u00ea digita uma pergunta, ele digita de volta uma resposta. Nada de muito inovador, a n\u00e3o ser o fato de que as respostas s\u00e3o boas \u2013 muito boas.<\/p>\n\n\n\n

O programa \u2013 ChatGPT \u2013 tem o conhecimento acumulado de praticamente toda a internet e responde a perguntas complexas, d\u00e1 passos extremamente espec\u00edficos, cria hist\u00f3rias in\u00e9ditas ao estilo de escritores consagrados e at\u00e9 melhora um texto previamente escrito. Tudo em linguagem natural humana.<\/p>\n\n\n\n

O terremoto causado pelo ChatGPT foi sentido nas universidades e gerou discuss\u00f5es: a produ\u00e7\u00e3o do ChatGPT configura pl\u00e1gio? Como avaliar o conhecimento de um aluno se ele pode responder \u00e0s avalia\u00e7\u00f5es usando o programa? Pesquisadores podem escrever artigos cient\u00edficos em parceria com o ChatGPT? Qual o limite do uso \u00e9tico de uma intelig\u00eancia artificial num campo at\u00e9 ent\u00e3o exclusivamente humano?<\/p>\n\n\n\n

Como n\u00e3o poderia deixar de ser, a ferramenta de intelig\u00eancia artificial transformou tamb\u00e9m o fazer jornal\u00edstico. Esta, por exemplo, est\u00e1 sendo a primeira vez que este rep\u00f3rter usa o ChatGPT para realizar uma apura\u00e7\u00e3o. E esse primeiro contato com a tecnologia rendeu insights interessantes, inclusive sobre a pr\u00f3pria rela\u00e7\u00e3o entre humano e m\u00e1quina. Inseri, por isso, coment\u00e1rios ao longo da mat\u00e9ria a respeito dos bastidores da reportagem.<\/p>\n\n\n\n

Como o ChatGPT n\u00e3o <\/em>funciona?<\/h5>\n\n\n\n

Primeiramente, \u00e9 preciso deixar claro: o ChatGPT n\u00e3o \u00e9 o Google. Sim, voc\u00ea pode inserir no prompt<\/em> (espa\u00e7o destinado \u00e0 inser\u00e7\u00e3o do texto ou pergunta do usu\u00e1rio) a mesma pergunta que voc\u00ea digitaria no Google. E, sim, o programa ir\u00e1 gerar uma resposta. Mas, enquanto o Google d\u00e1 o caminho na forma de uma lista de links entre os quais o usu\u00e1rio poder\u00e1 encontrar a sua resposta, o ChatGPT n\u00e3o esclarece de onde saem as suas informa\u00e7\u00f5es.<\/p>\n\n\n\n

Se pressionada a responder, a intelig\u00eancia artificial dir\u00e1 que foi alimentada com uma grande quantidade de dados (artigos de not\u00edcias, livros, artigos acad\u00eamicos, conversas) e que utiliza esse conhecimento pr\u00e9vio para gerar as suas respostas. Esse conhecimento, por\u00e9m, vai somente at\u00e9 o ano de 2021.<\/p>\n\n\n\n

Esse \u00e9 o primeiro engano comum a respeito do ChatGPT: ele n\u00e3o est\u00e1 constantemente atualizando o seu banco de dados.<\/p>\n\n\n\n

Converse com ele a respeito da pandemia de covid-19 e ele lhe contar\u00e1 quais foram as medidas de lockdown implementadas pelos pa\u00edses e as primeiras vacinas desenvolvidas. Pe\u00e7a os resultados da edi\u00e7\u00e3o do Big Brother Brasil 2022 e ele n\u00e3o saber\u00e1 responder. Buscar not\u00edcias recentes no ChatGPT, portanto, \u00e9 in\u00fatil.<\/p>\n\n\n\n

\n

\u201cDesculpe, mas como um modelo de linguagem treinado em 2021, n\u00e3o tenho informa\u00e7\u00f5es sobre eventos futuros\u201d <\/p>\nChatGPT<\/cite><\/blockquote>\n\n\n\n

O objetivo da OpenAI com o ChatGPT \u00e9 produzir uma intelig\u00eancia artificial capaz de entender e se comunicar com linguagem natural humana. N\u00e3o se trata de um buscador: \u00e9 uma m\u00e1quina que sabe falar muito bem.<\/p>\n\n\n\n

A verdade \u00e9 que essa tecnologia funciona mais como um editor de texto do que como um buscador da internet. Para ser mais exato, ele est\u00e1 mais pr\u00f3ximo de um corretor de texto.<\/p>\n\n\n\n

Como conta o professor do Departamento de Inform\u00e1tica da UFRGS Joel Lu\u00eds Carbonera, a intelig\u00eancia artificial do ChatGPT foi treinada para realizar uma tarefa preditiva: dado um conjunto de palavras, ela prev\u00ea o pr\u00f3ximo elemento mais prov\u00e1vel. N\u00e3o \u00e9 diferente do que acontece quando voc\u00ea escreve uma mensagem de texto no celular e o aplicativo completa automaticamente a palavra com base nas primeiras letras digitadas. A diferen\u00e7a \u00e9 que a predi\u00e7\u00e3o do ChatGPT \u00e9 capaz de gerar n\u00e3o apenas palavras ou frases, mas textos inteiros.<\/p>\n\n\n\n

Veja no infogr\u00e1fico abaixo como o ChatGPT foi treinado:<\/p>\n\n\n\n

<\/div><\/div><\/div>\n\n\n\n
<\/div><\/div><\/div>\n\n\n\n
<\/div><\/div><\/div>\n\n\n\n
<\/div><\/div><\/div>\n\n\n\n
<\/div><\/div><\/div>\n\n\n\n

Carbonera explica que o ChatGPT gera a resposta mais plaus\u00edvel do ponto de vista lingu\u00edstico, n\u00e3o factual. Por isso, n\u00f3s n\u00e3o podemos assumir que ele est\u00e1 factualmente correto. Seu compromisso maior n\u00e3o \u00e9 com a \u201cverdade\u201d, mas com a produ\u00e7\u00e3o de um texto semanticamente correto.<\/p>\n\n\n\n

\n

\u201cAqui est\u00e1 a grande armadilha: se n\u00f3s utilizarmos o ChatGPT como um or\u00e1culo, teremos respostas pouco precisas e factuais\u201d  <\/p>\nJoel Lu\u00eds Carbonera<\/cite><\/blockquote>\n\n\n\n

Preocupado com a aus\u00eancia de men\u00e7\u00e3o a fontes na resposta de uma pergunta espec\u00edfica, perguntei ao ChatGPT quais textos do seu banco de dados haviam sido utilizados para gerar aquela resposta. Educado, o programa pediu desculpas e falou que era imposs\u00edvel determinar textos espec\u00edficos. \u201cAs respostas\u201d, respondeu, \u201cn\u00e3o s\u00e3o baseadas em uma \u00fanica fonte de informa\u00e7\u00e3o, mas, sim, em uma ampla gama de dados textuais que o modelo de IA usou para aprender a linguagem natural.\u201d

O programa me explicou que ele \u00e9 um modelo de linguagem e n\u00e3o uma fonte de conhecimento ou informa\u00e7\u00f5es. Seu objetivo \u00e9 gerar respostas coerentes e com significado. Cabe ao usu\u00e1rio verificar criticamente as informa\u00e7\u00f5es fornecidas.

Passamos ent\u00e3o a uma discuss\u00e3o acalorada sobre a diferen\u00e7a entre coer\u00eancia e verdade, at\u00e9 eu me dar conta de que v\u00e1rias das minhas perguntas come\u00e7avam com \u201cpor favor\u201d. Como em: \u201cpor favor, voc\u00ea poderia me dar a resposta sobre x?\u201d. Eu estava inconscientemente preocupado em ser gentil com a m\u00e1quina. Sa\u00ed da conversa pensando em como os seres humanos s\u00e3o vulner\u00e1veis a qualquer simula\u00e7\u00e3o de empatia. Essa observa\u00e7\u00e3o preferi n\u00e3o dividir com o ChatGPT.<\/p>\n\n\n\n

Alucina\u00e7\u00f5es digitais<\/h5>\n\n\n\n

Pergunte ao ChatGPT algo que ele n\u00e3o saiba e as respostas podem variar. Ele pode se desculpar e dizer que o questionamento se refere a algo que, para ele, est\u00e1 no futuro, ou seja, p\u00f3s-2021. No caso de perguntas pol\u00eamicas, ele pode desconversar ou apresentar as diversas posi\u00e7\u00f5es existentes sobre o tema. E, algumas vezes, ele pode inventar.<\/p>\n\n\n\n

Esses textos sobre coisas que n\u00e3o existem ou n\u00e3o aconteceram s\u00e3o chamados de \u201calucina\u00e7\u00f5es\u201d e s\u00e3o bem comuns. Em entrevista ao site Metr\u00f3poles<\/a>, o pesquisador de intelig\u00eancia artificial Anderson Rocha contou uma situa\u00e7\u00e3o aned\u00f3tica: ele perguntou ao programa o nome de cinco professores de intelig\u00eancia artificial que tinham morrido nos \u00faltimos cinco anos. O programa deu os nomes e descreveu as circunst\u00e2ncias da morte de cada um. S\u00f3 que, dos mortos citados, tr\u00eas ainda est\u00e3o vivos. Um deles divide uma sala com Rocha.<\/p>\n\n\n\n

Curiosamente, as alucina\u00e7\u00f5es s\u00e3o muito comuns quando envolvem acad\u00eamicos e artigos cient\u00edficos. H\u00e1 diversos relatos na internet de respostas do ChatGPT com men\u00e7\u00f5es a pesquisadores que n\u00e3o existem ou com links para artigos inexistentes.<\/p>\n\n\n\n

O professor Joel Carbonera n\u00e3o sabe dizer por que as alucina\u00e7\u00f5es acontecem, mas tem uma teoria: durante o treinamento da m\u00e1quina, programadores falharam em fazer o ajuste fino das respostas, o que ele chama de \u201ccolocar corrim\u00f5es seguros na experi\u00eancia\u201d. Essa etapa de ajuste serve para impedir que a intelig\u00eancia artificial gere r\u00e9plicas inapropriadas, como, por exemplo, respostas sexistas ou preconceituosas. Tamb\u00e9m serve para impedir respostas descabidas como as das alucina\u00e7\u00f5es. De acordo com o docente, a alucina\u00e7\u00e3o acontece quando a resposta \u201cbugada\u201d ultrapassa o filtro adquirido no treinamento.<\/p>\n\n\n\n

Uma das primeiras utiliza\u00e7\u00f5es do ChatGPT para uma pauta foi aqui na pesquisa de fontes. Eu pedi para ele gerar uma lista de pesquisadores que j\u00e1 publicaram trabalhos sobre o uso ou o impacto do ChatGPT no ambiente acad\u00eamico. S\u00f3 depois me dei conta de que, obviamente, ele n\u00e3o saberia a resposta, pois o pr\u00f3prio ChatGPT e qualquer trabalho escrito sobre ele foram lan\u00e7ados ap\u00f3s 2021.

Isso n\u00e3o pareceu ser um impeditivo para o programa, que prontamente me enviou sete nomes de pesquisadores, suas institui\u00e7\u00f5es de trabalho e o tema de suas pesquisas. Refinei a pergunta e pedi para ele adicionar links para os estudos desses pesquisadores. V\u00e1rios estavam quebrados. Um deles direcionava a uma pesquisa sobre biologia celular. Nem mesmo era de um dos autores listados. Importante dizer que o programa travou diversas vezes quando fiz essa pergunta.

Curiosamente, foi s\u00f3 alterar minimamente o conte\u00fado da pergunta inicial, pedindo por \u201cpesquisadores brasileiros\u201d, que o programa devolveu a resposta adequada: n\u00e3o h\u00e1 informa\u00e7\u00f5es, pois a base de dados s\u00f3 vai at\u00e9 o ano de 2021.<\/p>\n\n\n\n

Preconceito acad\u00eamico<\/h5>\n\n\n\n

A ocorr\u00eancia frequente de alucina\u00e7\u00f5es e a falta de referencia\u00e7\u00e3o da informa\u00e7\u00e3o praticamente impossibilita o uso s\u00e9rio do ChatGPT para escrever, sozinho, artigos cient\u00edficos. Ainda assim, a intelig\u00eancia artificial pode ser usada como ferramenta pelo pesquisador. Ela pode ser empregada em tarefas repetitivas e que n\u00e3o exigem criatividade, como a formata\u00e7\u00e3o de textos, por exemplo.<\/p>\n\n\n\n

T\u00e3o logo o programa foi lan\u00e7ado, o jornalista e doutor em Comunica\u00e7\u00e3o Marcio Telles come\u00e7ou a publicar no seu perfil no Twitter uma s\u00e9rie de dicas sobre como utilizar o ChatGPT na reda\u00e7\u00e3o de artigos acad\u00eamicos, prepara\u00e7\u00e3o de aulas e outras situa\u00e7\u00f5es \u00fateis a pesquisadores. Num dos posts, por exemplo, ele demonstra como pedir para o programa organizar as refer\u00eancias de um trabalho acad\u00eamico em formato APA, um estilo de formata\u00e7\u00e3o de refer\u00eancias.<\/p>\n\n\n\n

Nas suas postagens, Telles ressalta que o ChatGPT \u00e9 uma ferramenta de trabalho e n\u00e3o um substituto do autor. Mesmo com esse adendo, ele n\u00e3o conseguiu evitar uma rea\u00e7\u00e3o negativa vinda de parte do mundo acad\u00eamico. Telles recusou o convite para ser entrevistado por esta reportagem, alegando que seus coment\u00e1rios favor\u00e1veis ao uso do ChatGPT t\u00eam gerado \u201cmal-estar\u201d entre colegas, al\u00e9m de uma desconfian\u00e7a sobre o seu pr\u00f3prio trabalho, e isso o fez decidir n\u00e3o falar mais sobre o assunto. Desde ent\u00e3o, ele parou de postar as dicas no Twitter.<\/p>\n\n\n\n

Para Luiza Santos, professora de Comunica\u00e7\u00e3o da Universidade Estadual de Ponta Grossa (UEPG) e pesquisadora de intelig\u00eancia artificial, essa posi\u00e7\u00e3o cautelosa da comunidade acad\u00eamica \u00e9 hist\u00f3rica e vem desde a Gr\u00e9cia Antiga: Plat\u00e3o advertia para os males que os livros causariam \u00e0 mem\u00f3ria humana. O mesmo receio se manifestou com o surgimento dos computadores e mesmo do Google. O tempo passou e hoje essas tecnologias s\u00e3o consideradas essenciais ao pensamento humano.<\/p>\n\n\n\n

Para a pesquisadora, ter uma posi\u00e7\u00e3o de completo \u201cmedo\u201d ou \u201cfasc\u00ednio\u201d com o uso acad\u00eamico do ChatGPT n\u00e3o ajuda em nada. A tecnologia ainda \u00e9 recente e muita coisa \u00e9 pura especula\u00e7\u00e3o. Ela acha, por\u00e9m, que a comunidade deve estabelecer consensos e diretrizes, e cita a revista cient\u00edfica Nature, que publicizou regras para a utiliza\u00e7\u00e3o do ChatGPT em estudos cient\u00edficos. Uma delas diz que sistemas de intelig\u00eancia artificial n\u00e3o podem ser creditados como autor ou coautor de um estudo.<\/p>\n\n\n\n

\n

\u201cQue regras \u00e9ticas teremos na academia? Temos que estabelecer consensos e diretrizes. Acho que o consenso vai variar de \u00e1rea para \u00e1rea\u201d<\/p>\nLuiza Santos<\/cite><\/blockquote>\n\n\n\n

Ser\u00e1 que o ChatGPT poderia escrever um artigo cient\u00edfico por mim? Fiz o teste: pedi para o programa escrever um artigo de dez p\u00e1ginas j\u00e1 formatado em ABNT, contendo uma revis\u00e3o bibliogr\u00e1fica sobre delibera\u00e7\u00e3o online em f\u00f3runs da internet. O artigo deveria conter, entre outras se\u00e7\u00f5es, um resumo em portugu\u00eas e em ingl\u00eas, uma se\u00e7\u00e3o de conclus\u00e3o e outra de refer\u00eancias.

Prontamente, foi gerado um trabalho com o t\u00edtulo \u201cDescobertas e Tend\u00eancias da Delibera\u00e7\u00e3o Online em F\u00f3runs da Internet\u201d. Ficou bem mais curto do que eu esperava: aproximadamente cinco p\u00e1ginas, contando o resumo bil\u00edngue. O sistema j\u00e1 gerou as palavras-chave, o que foi um toque interessante.

Alguns estudos foram mencionados no corpo do texto, mas eram identificados apenas pelo ano de publica\u00e7\u00e3o (\u201cum estudo de 2014 mostrou que…\u201d). O artigo terminava com uma lista de refer\u00eancias j\u00e1 formatadas em ABNT. Os anos de publica\u00e7\u00e3o n\u00e3o batiam com os dos estudos citados.<\/p>\n\n\n\n

Aprender para \u201cn\u00e3o ser engolido\u201d<\/h5>\n\n\n\n

O professor de Engenharia do Instituto Federal de Santa Catarina (IFSC) Jesu\u00e9 Graciliano da Silva lembra a data em que ouviu falar do ChatGPT pela primeira vez: 25 de janeiro. De um dia para o outro, s\u00f3 se falava nisso. A maior parte das not\u00edcias e mensagens que chegavam a ele eram catastr\u00f3ficas. Todas as provas de avalia\u00e7\u00e3o de alunos se tornariam obsoletas. \u00c9 uma destrui\u00e7\u00e3o para a educa\u00e7\u00e3o, diziam alguns professores.<\/p>\n\n\n\n

Jesu\u00e9 n\u00e3o teve d\u00favidas do que fazer: foi testar a ferramenta. E reconheceu: \u201cFoi um pouco acima da minha expectativa\u201d.<\/p>\n\n\n\n

Ao testar o prompt do ChatGPT, ele fez perguntas \u00e0 m\u00e1quina sobre o seu uso na educa\u00e7\u00e3o. Gostou do que viu. Por trabalhar com educa\u00e7\u00e3o a dist\u00e2ncia e ferramentas digitais de aprendizagem, o professor n\u00e3o tem preconceitos com novas tecnologias.<\/p>\n\n\n\n

O resultado da sua intera\u00e7\u00e3o com a intelig\u00eancia artificial foi a apostila digital Elevando a aprendizagem com ChatGPT<\/a>, obra escrita pelo ChatGPT e organizada por Josu\u00e9. A publica\u00e7\u00e3o traz uma apresenta\u00e7\u00e3o sobre o funcionamento do ChatGPT, suas potencialidades e limita\u00e7\u00f5es, bem como sugest\u00f5es de utiliza\u00e7\u00e3o em sala de aula.<\/p>\n\n\n\n

O professor do IFSC n\u00e3o \u00e9 ing\u00eanuo: sabe que o programa tem vieses e precisa de cuidado ao ser manejado no contexto educacional. Por isso, sua sugest\u00e3o \u00e9 trabalhar com a pergunta, formulando-a em conjunto com a turma e ent\u00e3o discutindo a resposta. Se a resposta vier errada, esse tamb\u00e9m \u00e9 um ponto interessante para discuss\u00e3o na classe.<\/p>\n\n\n\n

Para aqueles que torcem o nariz para o ChatGPT, Jesu\u00e9 alerta: se o docente n\u00e3o souber como us\u00e1-lo, o aluno vai saber. E vai usar para fins de pl\u00e1gio. \u00c9 com este intuito que o guia foi organizado: facilitar a transi\u00e7\u00e3o dos docentes para essa nova realidade de intelig\u00eancia artificial.<\/p>\n\n\n\n

\n

\u201cQuanto mais professores experimentarem, melhor. Docente tem que buscar o autoaperfei\u00e7oamento. \u00c9 sua obriga\u00e7\u00e3o se capacitar. E parte da institui\u00e7\u00e3o de ensino abrir a discuss\u00e3o\u201d<\/p>\nJesu\u00e9 Graciliano da Silva<\/cite><\/blockquote>\n\n\n\n

Mais do que um conhecimento interessante, mais do que ser bom ou ruim, trata-se de sobreviv\u00eancia. Jesu\u00e9 entende que o ChatGPT vai mudar o ambiente educacional para sempre. Se os docentes n\u00e3o se adaptarem, pode n\u00e3o haver lugar para eles no futuro.<\/p>\n\n\n\n

\u201cTem colegas meus que me dizem: voc\u00ea est\u00e1 muito empolgado\u201d, conta. \u201cEstou n\u00e3o. Eu quero \u00e9 saber para n\u00e3o ser engolido.\u201d<\/p>\n\n\n

\n
\"\"
Acima, da esquerda para a direita, imagens produzidas pelo aplicativo de cria\u00e7\u00e3o em Intelig\u00eancia Artificial Dream Wombo, representando (da esquerda para a direita) Elza Soares, Elon Musk, Paulo Freire e Fernanda Montenegro como se tivessem sido pintadas pelo artista brasileiro Di Cavalcanti (Montagem: Fla\u0301vio Dutra-Dream Wombo)<\/figcaption><\/figure>\n<\/div>\n\n\n
A postura da institui\u00e7\u00e3o de ensino<\/h5>\n\n\n\n

Considere esses dois casos antag\u00f4nicos: t\u00e3o logo a ades\u00e3o ao ChatGPT estourou \u2013 foram mais de 100 milh\u00f5es de usu\u00e1rios nos primeiros dois meses \u2013, o Departamento de Educa\u00e7\u00e3o de Nova York baniu o seu uso nas escolas do munic\u00edpio. J\u00e1 o professor de Tecnologia Ronaldo Lemos, que leciona na Universidade Schwarzman, na China, passou a obrigar o uso do ChatGPT nas provas de sua disciplina.<\/p>\n\n\n\n

O que explica a diferen\u00e7a entre as duas posturas? Seria a personalidade arrojada do educador da Universidade Schwarzman versus<\/em> a cultura mais lenta e cautelosa do poder p\u00fablico? Talvez. Mas mais provavelmente a quest\u00e3o se resuma a um fator et\u00e1rio: os alunos da institui\u00e7\u00e3o de ensino superior s\u00e3o adultos; os das escolas de Nova York s\u00e3o crian\u00e7as e adolescentes.<\/p>\n\n\n\n

Leonardo Foletto, editor do site BaixaCultura e ativista da cultura livre, concorda com a cautela no uso do ChatGPT na educa\u00e7\u00e3o b\u00e1sica. Segundo ele, \u00e9 mais dif\u00edcil adotar uma postura liberal de uso no ensino de crian\u00e7as em fase de alfabetiza\u00e7\u00e3o.<\/p>\n\n\n\n

Foletto cita tr\u00eas posturas diferentes das institui\u00e7\u00f5es de ensino em rela\u00e7\u00e3o \u00e0 intelig\u00eancia artificial:<\/p>\n\n\n\n