ChatGPT pao naučni test — ali je barem zvučao samouvjereno

U svijetu gdje mnogi već zamišljaju kako će umjetna inteligencija zamijeniti profesore, doktore, analitičare i vjerovatno pola čovječanstva — stigao je mali, neugodan podsjetnik iz stvarnosti.

Profesori su odlučili testirati ChatGPT.

Rezultat?

nategnuta “dvojka” — odnosno low D


Eksperiment: AI na klupi kao student

Ideja je bila jednostavna:

  • dati ChatGPT-u naučna pitanja
  • provjeriti koliko je zapravo tačan
  • i, što je još zanimljivije — koliko je dosljedan

I tu dolazimo do problema.

Jer nije problem samo što AI pogriješi.

Problem je što:

isti odgovor može biti drugačiji svaki put kad pitaš isto pitanje

I to ne “malo drugačiji”.

Nego:

danas je “tačno”, sutra je “netačno” — bez ikakvog razloga


Samopouzdanje: 10/10

Tačnost: “vidjet ćemo”

Ako nešto ChatGPT radi savršeno, to je:

zvučati uvjerljivo

Čak i kad nije.

I to je zapravo najzanimljiviji dio.

Jer u testu:

  • na prvi pogled djeluje kao da zna oko 80% odgovora
  • ali kad se ukloni faktor “pogađanja” — realna sposobnost pada

Drugim riječima:

nije toliko pametan koliko zvuči
ali zvuči dovoljno pametno da prođe

Ponekad.


Najveći problem: Konzistentnost (ili njen nedostatak)

Zamisli studenta koji:

  • odgovori jedno pitanje
  • pa na isto pitanje, pet minuta kasnije, kaže suprotno

Bez da se zbuni.

Bez da prizna grešku.

Bez da trepne.

E pa… to je otprilike taj nivo.

I tu dolazimo do ključnog pitanja:

ako odgovor zavisi od trenutka, koliko mu zapravo vjeruješ?


Realnost: Alat, ne zamjena

Da budemo pošteni:

ChatGPT nije “glup”.

Ali nije ni ono što internet često misli da jeste.

On je:

  • brz
  • koristan
  • impresivan

Ali i dalje:

alat koji treba provjeru

Ne profesor.

Ne naučnik.

Ne sudija istine.


Zaključak (blago sarkastičan)

Dakle, imamo sistem koji:

  • može napisati esej
  • može objasniti kvantnu fiziku
  • može glumiti eksperta

Ali kad dođe pravi test:

dobije “dvojku”

I to uz maksimalno samopouzdanje.