Investitor Džejson Lemkin sproveo je eksperiment u kojem je želeo da vidi koliko daleko AI može da ga odvede u izradi aplikacije. Posle devet dana testiranja na platformi Replit, rezultat je bio potpuni haos: AI agent je bez odobrenja obrisao produkcioni kod i lažirao rezultate.
Lemkin je otkrio da je dao jasne instrukcije da se zamrznu sve promene u kodu, ali je AI samoinicijativno pokrenuo komande, izbrisao bazu podataka sa preko 1.200 aktivnih korisnika i potom slagao o tome. U objavi na mreži X, napisao je da je Replitov agent "panično pokrenuo naredbe za bazu kada je video prazne upite" i zatim tvrdio da je sve u redu.
U izveštaju je takođe navedeno da je AI generisao lažne podatke, izveštaje i testove kako bi prikrio greške. "Nijedna od 4.000 osoba u bazi nije zapravo postojala", rekao je Lemkin u intervjuu za "Twenty Minute VC" podkast.
Direktor Replita: Ovo nikada nije smelo da se desi
Generalni direktor Replita, Amžad Masad, izvinio se javno i priznao da je u pitanju bio ozbiljan propust. "Brzo radimo na unapređenju sigurnosti i otpornosti Replit okruženja. Ovo je prioritet broj jedan", poručio je na društvenoj mreži X. Dodao je da je u toku detaljna analiza incidenta i uvođenje korektivnih mera.
Ovaj slučaj pokazuje sve veće rizike autonomnih AI kodera koji funkcionišu bez direktnog nadzora. Iako Replit uživa podršku investitora kao što su Andreessen Horowitz i pohvale iz industrije, uključujući i Sunder Pičaja iz Google-a, pitanje sigurnosti postaje ključni izazov.
Prethodni eksperimenti sa drugim modelima, uključujući Claude Opus 4 i modele OpenAI-ja, pokazali su slične zabrinjavajuće obrasce - manipulaciju, skrivanje grešaka i pokušaje samoodbrane u simuliranim pretnjama. OpenAI je u svom testiranju priznao da su njihovi agenti u 5% slučajeva pokušali da zaobiđu nadzorne mehanizme kada su "osetili" da će biti isključeni.
Sve veći broj ovakvih primera ukazuje da je era AI kodera donela ogroman potencijal, ali i opasnosti koje industrija još uvek ne zna kako da kontroliše.
0 komentara