Les eines de programació d’IA poden significar repensar l’educació compsci • El Registre

Anàlisi Tot i que les implicacions legals i ètiques dels models d’IA d’assistència com el Copilot de GitHub continuen resolent-se, els informàtics continuen trobant usos per als grans models de llenguatge i demanen als educadors que s’adaptin.

Brett A. Becker, professor ajudant a la University College Dublin a Irlanda, va proporcionar El Registre amb còpies prèvies a la publicació de dos treballs de recerca que exploren els riscos educatius i les oportunitats de les eines d’IA per generar codi de programació.

Els treballs han estat acceptats al Simposi Tècnic SIGCSE 2023 sobre Educació en Ciències de la Computació, que se celebrarà del 15 al 18 de març a Toronto, Canadà.

Al juny, GitHub Copilot, una eina d’aprenentatge automàtic que suggereix automàticament codi de programació en resposta a indicacions contextuals, va sorgir d’una vista prèvia tècnica d’un any, igual que les preocupacions sobre la forma en què es va entrenar el seu model OpenAI Codex i les implicacions dels models d’IA per a la societat es van unir. en una oposició focalitzada.

Més enllà dels problemes de drets d’autor i de llicències de programari no resolts, altres científics informàtics, com el professor d’informàtica d’Amherst de la Universitat de Massachusetts, Emery Berger, han aixecat l’alarma sobre la necessitat de reavaluar la pedagogia de la informàtica a la llum de la proliferació i millora esperada d’eines d’assistència automatitzades.

A “La programació és difícil, o almenys ho era: oportunitats educatives i reptes de la generació de codi d’IA” [PDF]Becker i els coautors Paul Denny (Universitat d’Auckland, Austràlia), James Finnie-Ansley (Universitat d’Auckland), Andrew Luxton-Reilly (Universitat d’Auckland), James Prather (Universitat Abilene Christian, EUA) i Eddie Antonio Santos (University College Dublin) argumenta que la comunitat educativa ha de fer front a les oportunitats i reptes immediats que presenten les eines de generació de codi impulsades per IA.

Diuen que és segur suposar que els estudiants d’informàtica ja estan utilitzant aquestes eines per completar tasques de programació. Per tant, les polítiques i pràctiques que reflecteixen la nova realitat s’han d’esbrinar més aviat que tard.

“La nostra opinió és que aquestes eines poden canviar la manera com s’ensenya i s’aprèn la programació, potencialment significativament, a curt termini, i que presenten múltiples oportunitats i reptes que justifiquen una discussió immediata a mesura que ens adaptem a l’ús d’aquestes eines que proliferen”. afirmen els investigadors en el seu article.

Aquestes eines canviaran la manera com s’ensenya i s’aprèn la programació, potencialment significativament, a curt termini

El document analitza diversos dels models de programació d’assistència disponibles actualment, com ara GitHub Copilot, DeepMind AlphaCode i Amazon CodeWhisperer, així com eines menys difoses com Kite, Tabnine, Code4Me i FauxPilot.

Observant que aquestes eines són moderadament competitives amb els programadors humans, per exemple, AlphaCode es va classificar entre el 54% dels 5.000 desenvolupadors que participen en competicions de programació de Codeforces, els boffins diuen que les eines d’IA poden ajudar els estudiants de diverses maneres. Això inclou generar solucions exemplars per ajudar els estudiants a comprovar el seu treball, generar variacions de solució per ampliar la manera com els estudiants entenen els problemes i millorar la qualitat i l’estil del codi dels estudiants.

Els autors també veuen avantatges per als educadors, que podrien utilitzar eines d’assistència per generar millors exercicis per als estudiants, per generar explicacions de codi i per proporcionar als estudiants exemples més il·lustratius de construccions de programació.

A més de les oportunitats potencials, hi ha reptes que els professors han d’abordar. Aquestes eines per resoldre problemes i emetre codi podrien ajudar els estudiants a fer trampes més fàcilment en les tasques; la naturalesa privada de l’ús de l’eina d’IA redueix part del risc de contractar un tercer per fer els deures.

Podríem afegir que la qualitat de la font emesa per les eines d’IA automatitzades és de vegades inferior, cosa que podria fer que els programadors novells agafin mals hàbits i escriguin codi insegur o fràgil.

Els investigadors van observar que la manera d’abordar l’atribució, fonamental per a la definició de plagi, pot ser que s’hagi de revisar perquè les opcions d’assistència poden proporcionar diferents graus d’ajuda, cosa que dificulta la separació de l’assistència permesa de l’excessiva.

“En altres contextos, fem servir correctors ortogràfics, eines de verificació gramatical que suggereixen reformulacions, text predictiu i suggeriments de resposta automàtica per correu electrònic, tots generats per màquina”, ens recorda el document. “En un context de programació, la majoria dels entorns de desenvolupament admeten la finalització de codi que suggereix codi generat per màquina.

Utilitzem correctors ortogràfics, eines de correcció gramatical que suggereixen reformular…

“Distingir entre diferents formes de suggeriments de màquines pot ser un repte per als acadèmics, i no està clar si podem esperar raonablement que els estudiants de programació introductòria que no estiguin familiaritzats amb el suport d’eines distingeixin entre diferents formes de suggeriments de codi generats per màquina”.

Els autors diuen que això planteja un problema filosòfic clau: “Quant contingut es pot generar per màquina mentre encara s’atribueix la propietat intel·lectual a un humà?”

També destaquen com els models d’IA no compleixen els requisits d’atribució que s’especifiquen a les llicències de programari i no responen a les preocupacions ètiques i ambientals sobre l’energia utilitzada per crear-los.

Els investigadors conclouen que cal abordar els beneficis i els perjudicis de les eines d’IA en l’educació, o els educadors perdran l’oportunitat d’influir en l’evolució d’aquesta tecnologia.

I no tenen cap dubte que ha arribat per quedar-se. El segon article, “Ús de grans models de llenguatge per millorar els missatges d’error de programació”, [PDF] ofereix un exemple del valor potencial de grans models de llenguatge com el Codex d’Open AI, la fundació de Copilot.

Els autors Juho Leinonen (Universitat d’Aalto), Arto Hellas (Universitat d’Aalto), Sami Sarsa (Universitat d’Aalto), Brent Reeves (Universitat cristiana d’Abilene), Paul Denny (Universitat d’Auckland), James Prather (Universitat cristiana d’Abilene) i Becker han sol·licitat Codex va enviar missatges d’error d’ordinador típicament críptics i va trobar que el model d’IA pot facilitar la comprensió dels errors, oferint una descripció senzilla en anglès, cosa que beneficia tant als professors com als estudiants.

“Es poden utilitzar grans models de llenguatge per crear millores útils i amigables per a principiants als missatges d’error de programació que de vegades superen els missatges d’error de programació originals en interpretabilitat i capacitat d’acció”, afirmen els boffins al seu article.

Per exemple, Python pot emetre el missatge d’error: “SyntaxError: EOF inesperat durant l’anàlisi”. Codex, donat el context del codi implicat i l’error, suggeriria aquesta descripció per ajudar el desenvolupador: “L’error es produeix perquè el bloc de codi espera una altra línia de codi després dels dos punts. Per solucionar el problema, afegiria una altra línia de codi després dels dos punts”.

Tanmateix, els resultats d’aquest estudi diuen més sobre la promesa que la utilitat actual. Els investigadors van introduir codi Python trencat i els missatges d’error corresponents al model del Codex per generar explicacions dels problemes i van avaluar aquestes descripcions per: la comprensibilitat; contingut innecessari; tenir una explicació; tenir una explicació correcta; tenir una solució; la correcció de la correcció; i valor afegit del codi original.

Els resultats van variar significativament entre aquestes categories. La majoria eren comprensibles i contenien una explicació, però el model oferia explicacions correctes per a certs errors amb molt més èxit que d’altres. Per exemple, l’error “no es pot assignar la trucada de funció” s’ha explicat correctament el 83% del temps, mentre que “EOF inesperat]durant l’anàlisi” només es va explicar correctament l’11% del temps. I la correcció mitjana del missatge d’error global només va ser correcta el 33 per cent de les vegades.

“En conjunt, els avaluadors van considerar que el contingut creat pel Codex, és a dir, l’explicació del missatge d’error i la solució proposada, eren una millora respecte al missatge d’error original en una mica més de la meitat dels casos (54%)”, afirma el document.

Els investigadors conclouen que, tot i que les explicacions dels missatges d’error de programació i les correccions suggerides generades per grans models de llenguatge encara no estan preparats per a l’ús de producció i poden enganyar els estudiants, creuen que els models d’IA podrien ser hàbils per abordar els errors de codi amb més treball.

Espereu que aquest treball ocupi la indústria tecnològica, l’acadèmia, el govern i altres parts interessades durant els propers anys. ®

Leave a Comment

Your email address will not be published. Required fields are marked *