Forskare föredrar artificiell intelligens åsikt framför deras mänskliga kollegors

av Titti Carlberg

02 November 2023

Forskare föredrar artificiell intelligens åsikt framför deras mänskliga kollegors

Bland chatbot-programmen som utnyttjar artificiell intelligens finns ChatGPT, dess användning sträcker sig till den grad att den till och med ersätter mänskliga åsikter i analyser av vetenskapliga dokument, enligt en undersökning.

ChatGPT: vad är det och vad är det till för

ChatGPT: vad är det och vad är det till för

Freepik

ChatGPT är en språklig modell som lanserades av OpenAI i november 2022 som använder en otrolig mängd data för att bearbeta sina svar, vilken gör den extremt användbar även på arbetsplatsen. I grund och botten är det bara att ställa en fråga för att få en detaljerad information om praktiskt taget alla ämnen, förutom särskilt känsliga: denna avancerade teknik kan indexera ord och fraser genom statistik, förstärkning och inlärning. Naturligtvis har den inte samma intelligens som en mänsklig hjärna, men den kan sammanställa ord på ett överraskande sätt och generera tal som inte bara är meningsfulla utan också välformulerade.

Inom det akademiska och vetenskapliga området är det särskilt användbart inte bara för att skriva artiklar, utan också för att be om förslag på titeln att använda, på begreppen att infoga, tills ett helt dokument är producerat: detta gäller även för de enklaste skoluppsatserna och uppsatser, upp till populärvetenskapliga texter.

Av denna anledning har många debatter och tvivel uppstått angående dess användning, som från ett enkelt stöd kan bli ett verkligt substitut för vissa mänskliga aktiviteter. Som till exempel när det gäller vetenskapliga granskare.

ChaptGPT och vetenskaplig granskning: experimentet

ChaptGPT och vetenskaplig granskning: experimentet

Pexels

Uppenbarligen föredrar forskare att ta emot åsikter från ChatGPT om deras arbete, snarare än att vända sig till sina kollegor för förslag, kritik och korrigeringar. Innan de publicerar sina skrifter i vetenskapliga tidskrifter måste akademiker lämna sitt utförda arbete för en peer rewiew, referentgranskning, det vill säga en bedömning av kollegor i branchen. Det innebär att andra forskare inom samma område utvärderar det utförda arbetet och jämför det med tidigare publicerade artiklar för att bekräfta rönen eller motbevisa dem. Detta system syftar till att göra dokumentet till ett original och med solid grund, men det verkar som att antalet "mänskliga" granskare har minskat.

Många välrenommerade tidskrifter förlitar sig på frivilliga granskare för att utföra detta arbete: det betyder att endast forskare som går med på att granska dokument gratis från kollegor gör sig tillgängliga, vilket nu innebär att antalet av dem blir alltmer begränsat. Den här typen av resurser, både på grund av behovet av att hitta en siffra från samma sektor och bristen på incitament, är allt svårare att hitta och denna medvetenhet har drivit James Zou, biträdande professor i biomedicinsk datavetenskap vid Stanford University, USA, att testa om chatbots som ChatGPT faktiskt kan ersätta referentgranskaren. Tillsammans med sina kollegor tog han ett urval av 5000 dokument som tidigare granskats av Nature publishing Group och ICLR (International Conference on Representations of Learning), skickade PDF-filerna till ChatGPT för att jämföra granskningen som intelligens artificiell utförde med dem som utförts av forskare.

Undersökning: vad forskare tycker om ChatGPT-granskningen

Undersökning: vad forskare tycker om ChatGPT-granskningen

Pixabay

Resultatet visade att ungefär en tredjedel av observationerna som gjordes av programmet var desamma som de som utfördes av människor. Vid denna tidpunkt kontaktade Zou forskarna som hade utarbetat de dokument som var inblandade i hans studie57,4% ansåg att granskningen av ChatGPT var väldigt användbar, medan 82,4% uppgav att det arbete som utfördes av chatboten var mycket bättre än det som utfördes av kollegorna, Zous experiment tog dock inte hänsyn till en viktig aspekt: det förekom vissa fel i ChatGPT-feedback, på grund av ett problem i Chatbot-felinformation, vilket skulle kunna skapa förvirring. Zous undersökning har ännu inte publicerats eftersom den väntar på granskning, men den visade ändå att majoriteten av författarna tycker att ChatGPT är effektivare än att analysera sina kollegors arbete. Ett frågetecken kvarstår dock: är det verkligen så?

I vilket fall som helst, för att använda denna teknik på ett funktionellt och användbart sätt, kan man ta hänsyn till dessa aspekter:

  • Fraserna måste formuleras på ett enkelt och tydligt sätt, så att svaren blir enkla men detaljerade;
  • Ju fler detaljer man anger, desto mer "förstående" kommer ChatGPT ge ett svar;
  • Om man behöver inspiration för att skriva en text är det bara att fråga tekniken vilka ämnen man kan ta upp för inspiration;
  • Om man behöver förbereda ett tal, kan man be programmet om tips;
  • Ska du ut och resa? Genom att ange din destination och beskriva dina behov kan ChatGPT ge dig en personlig resplan.

Kort sagt, det finns många användningsmöjligheter, men det mänskliga bidraget till artificiell intelligens bör aldrig saknas. 
Vad tror du?

Source:

https://arxiv.org/abs/2310.01783

Image Credit: Pixabay