Melbourne -Deloitte Australië zal de 440.000 Australische dollars ($ 290.000) betaald door de Australische regering gedeeltelijk terugbetalen voor een rapport dat bezaaid was met schijnbare door AI gegenereerde fouten, waaronder een gefabriceerd citaat van een federaal oordeel en referenties naar niet-bestaande academische onderzoekspapers.
Het rapport van de financiële dienstverlening aan het Department of Employment and Workplace Relations werd oorspronkelijk gepubliceerd op de website van de afdeling in juli. Een herziene versie werd vrijdag gepubliceerd nadat Chris Rudge, een onderzoeker van Sydney University of Health and Welfare Law, zei dat hij de media waarschuwde dat het rapport ‘vol gefabriceerde referenties’ was.
Aanbevolen video’s
Deloitte had het rapport van 237 pagina’s beoordeeld en “bevestigde enkele voetnoten en referenties waren onjuist”, zei de afdeling dinsdag in een verklaring.
“Deloitte had ingestemd met het terugbetalen van de definitieve aflevering onder haar contract,” zei de afdeling. Het bedrag wordt openbaar gemaakt nadat de terugbetaling is terugbetaald.
Deloitte reageerde niet toen hem werd gevraagd of de fouten werden gegenereerd door AI.
Een neiging tot generatieve AI -systemen om informatie te fabriceren staat bekend als hallucinatie.
Het rapport beoordeelde het gebruik van de afdeling IT -systemen van geautomatiseerde boetes in het welzijnssysteem van Australië. De afdeling zei dat de “substantie” van het rapport was gehandhaafd en er geen wijzigingen in de aanbevelingen waren.
De herziene versie bevatte een openbaarmaking dat een generatief AI -taalsysteem, Azure OpenAI, werd gebruikt bij het schrijven van het rapport.
Citaten toegeschreven aan een federale rechtbankrechter werden verwijderd, evenals verwijzingen naar niet -bestaande rapporten die zijn toegeschreven aan deskundigen van rechten en software engineering.
Rudge zei dat hij tot 20 fouten had gevonden in de eerste versie van het rapport.
De eerste fout die naar hem uitkwam, verklaarde ten onrechte dat Lisa Burton Crawford, een hoogleraar openbaar en constitutioneel recht, een professor in Sydney, een niet -bestaand boek had geschreven met een titel die suggereerde dat het buiten haar vakgebied was.
“Ik wist onmiddellijk dat het ofwel hallucineerd werd door AI of ’s werelds best bewaarde geheim omdat ik nog nooit van het boek had gehoord en het klonk belachelijk,” zei Rudge.
Werk van zijn academische collega’s was gebruikt als “tokens van legitimiteit”, aangehaald door de auteurs van het rapport maar niet gelezen, zei Rudge, voegde eraan toe dat hij overwoog een rechter te citeren een ernstiger fout was in een rapport dat effectief een audit was van de wettelijke naleving van de afdeling.
“Ze hebben een rechtszaak volledig geciteerd en vervolgens een citaat van een rechter verzonnen en ik dacht, goed vastgehouden: dat is eigenlijk een beetje groter dan de ego’s van academici. Dat gaat over het verkeerd stelen van de wet aan de Australische regering in een rapport waar ze op vertrouwen. Dus ik vond het belangrijk om op te komen voor ijverheid,” zei Rudge.
Senator Barbara Pocock, de woordvoerder van de Australian Greens Party in de publieke sector, zei dat Deloitte de hele AU $ 440.000 ($ 290.000) moet terugbetalen.
Deloitte “misbruikte AI en gebruikte het heel ongepast: een rechter verkeerd geciteerd, gebruikte referenties die niet bestaan”, vertelde Pocock aan Australian Broadcasting Corp. “Ik bedoel, het soort dingen waar een eerstejaars universiteitsstudent in diep in de problemen zou zijn.”