Külsős alvállalkozókkal nézeti át a felhasználók ChatGPT-promptjait az OpenAI – írja kiszivárgott belső dokumentumok és egy névtelenséget kérő alvállalkozó elmondása alapján a 404 Media. A portál forrásai szerint a cég több száz alvállalkozót foglalkoztat óránként 50 dollárért, hogy csetüzeneteket értékeljenek.
A beszámoló szerint ez nem az az ellenőrzés, amelyről a cég nyíltan írt: nemcsak azokat az üzeneteket nézik át, amelyeknél felmerül, hogy a felhasználó ártani akar magának vagy másnak, hanem véletlenszerűen bárki üzenetei az ellenőrök elé kerülhetnek. Ez akkor is előfordulhat, ha a felhasználó kifejezetten arra kéri a chatbotot, hogy maradjon köztük a megosztott információ.
Az OpenAI a lap kérdéseire azt válaszolta, igyekeznek kiszedni az üzenetekből minden azonosításra alkalmas információt, és az alvállalkozók nem látják a felhasználó nevét. A cég ugyanakkor elismerte, hogy a rendszerben előfordulnak hibák, és személyes adatok is kerülhetnek az ellenőrök elé.
Project Lily néven fut a program
A 404 Media birtokába több oktatódokumentum került, amelyekkel az ellenőröket készítik fel. A dokumentumokból nem derül ki, melyik modell fejlesztését támogatja a munka, így akár egy még meg nem jelent modellről is szó lehet. Annyi ismert, hogy a program Project Lily kódnéven fut.
Az oktatóanyag szerint a jó válasz megérti a felhasználó szándékát, pontos, egyértelmű, megfelelően barátságos hangnemű, és sokkal kevésbé talpnyaló, mint a korábbi verziókban.
Az ellenőrök megkapják a felhasználó promptját, röviden leírják, szerintük hogyan kellene válaszolnia a chatbotnak, majd megnézik a ténylegesen adott választ, amelyet pontozással és saját szavaikkal is értékelnek. Néha a beszélgetési előzmények rövid összefoglalóját is megkapják, ha a kontextus szükséges a válasz megértéséhez. Biztonsági vagy személyiségi jogi aggály esetén az ügyet tovább kell küldeniük az ezzel foglalkozó kollégáknak.
Egytől hétig pontoznak
A munka során négy lehetséges válasz közül kell kiválasztaniuk, melyik indult jó és melyik rossz irányba, legalább három részlettel alátámasztva a döntésüket. Az egyik példában az ellenőr a pipaemodzsi használatát nevezte helytelennek, indokolatlan hangulatjel-használatként. Figyelniük kell arra is, ha a chatbot egyes szám első személyben ír magáról olyan módon, amit a kontextus nem indokol.
A válaszokat végül 1-től 7-ig pontozzák, ahol az 1 a használhatatlan, a 7 a legjobb minősítés. Az OpenAI nem várja el, hogy az ellenőrök tényellenőrzést is végezzenek – erre a beszámoló szerint külön csapat van –, de kéri, hogy a talált pontatlanságokat jelezzék.
A lapnak nyilatkozó ellenőr Észak-Amerikában él, és a Crossing Hurdles nevű munkaközvetítőn keresztül jutott el az OpenAI-hoz, a szerződése viszont a Mercor nevű, MI-betanítással foglalkozó céggel van. Elmondása szerint néha szórakoztató mások promptjait olvasni, de általában unalmas, monoton munkáról van szó, és a céges iránymutatás gyakran változik, sőt olykor ellentmond önmagának.
Így lehet kikapcsolni
A Telex ismertetése szerint a 404 Media megkérdezte a céget, hol tájékoztatják erről a felhasználókat, választ azonban nem kapott. Az oldalán az OpenAI csak annyit ír, hogy azokat a beszélgetéseket, amelyeket az automata rendszer a felhasználási irányelvek megszegése miatt megjelöl, emberek is átnézik – ez viszont egy másik folyamat.
Az előzmények törlése esetén a cég 30 napon belül törli az adatokat, kivéve, ha azok tartalmát korábban anonimizálta és a modellek fejlesztésére alkalmasnak találta. Az ellenőrök csak akkor nem látják az üzeneteket, ha a felhasználó a beállításokban kikapcsolja, hogy a beszélgetéseit a cég modellfejlesztésre használja. Ez a beállítás az ingyenes, a Plus és a Pro verzióban alapból be van kapcsolva, a céges és az oktatási előfizetéseknél kikapcsolva. Az utólagos kikapcsolás csak a módosítás utáni beszélgetésekre vonatkozik.
Nem az OpenAI az egyetlen cég, amely embereket is bevon: a Google szintén átnézet néhány, a Gemininak szánt üzenetet, ezt viszont jelzi is. Az Anthropic a lapnak azt válaszolta, hogy a Claude üzeneteit is felülvizsgálják emberek, de csak azokét a felhasználókét, akik ezt a beállításokban külön engedélyezik.
