Informacijski dobitak i slop: kako ih računamo

Informacijski dobitak

Čitatelj pristupa tekstu s pitanjima. Za prijavu greške to su na primjer: koja verzija, koji preglednik, od koliko redaka. Informacijski dobitak je udio tih pitanja na koja tekst odgovara, od 0 do 100 %. Pri 100 % čitatelj više nema što pitati; obrazac s praznim poljima blizu je 0 %. Model u vašem pregledniku procjenjuje taj udio kao ocjenu od 0 do 10 i prikazuje ga u koracima od 5 %.

Ideja potječe od Claudea Shannona, koji je informaciju mjerio u bitovima: jedan bit je odgovor na jedno pitanje tipa da/ne (Shannon, 1948). Prijava „veliki izvozi ne uspijevaju“ ostavlja programera da isprobava 12.300 redaka, pa 11.000, jedno pitanje da/ne za drugim; „izvozi s više od 10.000 redaka ne uspijevaju“ odgovara na sva odjednom. Warren Weaver opisao je tri razine komunikacije: stižu li znakovi, nose li namjeravano značenje i mijenjaju li ono što primatelj radi (Weaver, 1949); Slopcheck radi na drugoj i trećoj razini.

Informacijski dobitak u SEO-u

U SEO-u taj pojam znači ono što stranica dodaje povrh stranica koje je čitatelj već vidio. Google ima patent na takav rezultat, „Contextual estimation of link information gain“ (US 11,354,342 B2, odobren 7. lipnja 2022.). Patent ne dokazuje da se rezultat koristi pri rangiranju; javne Googleove smjernice pitaju donosi li sadržaj izvorne informacije, izvještavanje, istraživanje ili analizu (u izvorniku „original information, reporting, research, or analysis“, Google Search Central). Slopcheck mjeri dio koji 1 tekst pokazuje sam, bez usporedbe s drugim stranicama: udio čitateljevih pitanja na koja odgovara, od 0 do 100 %.

Što izjava isključuje

Rudolf Carnap i Yehoshua Bar-Hillel opisali su značenjsku stranu informacije: izjava nosi to više informacije što više mogućih stanja svijeta isključuje (Carnap i Bar-Hillel, 1952). „Izvoz se prekida za narudžbe s više od 500 stavki u Chromeu 128“ isključuje mnogo više nego „izvoz ponekad ne radi“. Imenovani prag najjači je oblik: „3.1.4 radi, 3.2.0 ne radi“ programerki kaže koje izdanje otvoriti.

Je li izjava istinita, drugo je pitanje (Stanford Encyclopedia of Philosophy), a Slopcheck ne provjerava činjenice: izraz „narudžbe s više od 500 stavki“ dobiva isti rezultat, bio stvarni prag 500 ili 5.000.

Što je čitatelju važno

Ronald Howard pokazao je 1966. da informacija vrijedi onoliko koliko mijenja u odluci (Howard, 1966). Programerki „Chrome 128“ odlučuje koji od 3 preglednika testirati, a „izvoz je važan“ ne odlučuje ništa. Na stranici proizvoda „4 EUR po korisniku na mjesec, prvih 30 dana bez naknade“ mijenja odluku o kupnji, a „besprijekorno iskustvo“ ne. U prijavi greške programerov sljedeći korak ovisi o verziji, koracima i pragu, na primjer „od 3.2.0“.

Slop

Slop je udio riječi u tekstu, od 0 do 100 %, koje ne odgovaraju ni na jedno čitateljevo pitanje. Razlikujemo 4 vrste: prazne rečenice koje pristaju svakom tekstu, očite koje ne isključuju ništa što je čitatelj uzimao u obzir, nevažne koje ne mijenjaju nijednu odluku i nedohvatljive poput „kako smo se dogovorili“ ili „kao tamo“, a uz to i ponavljanja onoga što je tekst već rekao; u rezultatu je označena svaka rečenica sa slopom.

U razgovoru slop krši 2 od maksima koje je opisao Paul Grice: budi informativan koliko treba i ne više te govori ono što je relevantno (Grice, 1975). Ponavljanja su Shannonova redundancija (1948): dio poruke koji čitatelj može predvidjeti iz ostatka.

Stil nije slop: „popravili smo izvoz u CSV“ i „problem s izvozom u CSV je riješen“ broje se jednako.

Kako su dva broja povezana

Slop ne nosi informaciju, pa što je više slopa u tekstu, to je niži strop dobitka: tekst koji je 60 % slop dobiva najviše oko 50 %, a tekst s 95 % slopa ili više najviše 10 %. Punih 100 % prikazujemo samo ako nijedna rečenica nije slop; inače dobitak staje na 95 %. Duljina nije cilj: prijava greške od 50 riječi može dobiti 90 %.

Prijave grešaka, zadaci i opisi proizvoda

Zapisali smo 27 pitanja s kojima čitatelj pristupa tekstu: 7 za svaki tekst, 8 za prijave grešaka, 7 za zadatke i 5 za opise proizvoda. Prijava greške odgovara na pitanja koja verzija, koji koraci, što se očekivalo i što se dogodilo, uvijek ili ponekad, i od kojeg izdanja, na primjer „od 3.2.0, u Chromeu 128“. Zadatak odgovara na pitanja što, gdje, zašto, kako provjeriti da je gotov i što ne dirati; dobri kriteriji prihvaćanja izgledaju ovako: „34 postavke, 4 kartice, tekstovi bez izmjena“. Opis proizvoda odgovara na 5 pitanja: kome je namijenjen, što radi, čime je to dokazano, koliko košta i koji je sljedeći korak. Model je te razlike naučio iz 2.424 primjera koje je ocijenio jezični model, pa prije lijepljenja teksta ne morate birati vrstu teksta.

5 verzija u 4 dana

Verzija 1 od 19. listopada 2026. brojila je pomoćne riječi, riječi punila i konkretne podatke na 100 riječi. Verzija 2 dodala je rijetkost riječi, mjerenu prema čestotnim popisima koje smo izradili na temelju oko 600.000 riječi teksta Wikipedije po jeziku. Na 55 web-stranica koje su ocijenila dva jezična modela to je bio šum (AUROC od 0,45 do 0,49), pa smo je izbacili. Verzija 3 sudila je po konkretnosti na 100 riječi; na 37 novih stranica izdvojenih za test njezina presuda „premalo sadržaja“ bila je točna u 1 slučaju od 9, pa je ostala samo kao savjet.

Verzija 4 koristila je katalog od oko 1.000 obrazaca na 5 jezika i na istih 37 stranica razlikovala napuhane stranice od gustih (AUROC 0,75; te smo rezultate vidjeli još tijekom razvoja, pa je broj optimističan). Na stvarnim prijavama grešaka bila je na razini slučajnosti (od 0,47 do 0,52). Taj neuspjeh odveo nas je od brojenja riječi prema brojenju otvorenih čitateljevih pitanja i prema verziji 5 (s2) od 22. listopada; 24. listopada ponovno smo je istrenirali za 12 jezika (s3).

Što su nas naučili sustavi za prijavu grešaka

Uzeli smo 1.355 prijava iz Mozilla Bugzille od 2023. do 2025. Prijave zatvorene kao nepotpune ili „works for me“ i one čijeg je autora netko zamolio za dodatne podatke bile su dulje od prijava ispravljenih bez takve molbe (medijan 165 riječi prema 124) i konkretnije. Vanjski korisnici ispunjavaju cijeli predložak, koji se nalazi u 38 % prijava „works for me“ i u 14 % ispravljenih, a programeri pišu kratke bilješke oslonjene na zajednički kontekst. Ishod je mjerio autora, a ne tekst, pa smo od tada uspoređivali prijave istog autora.

U Apache Jiri prikupili smo 11.129 prijava grešaka iz 165 projekata od 2022. i usporedili ispravljene s onima zatvorenima kao „Cannot Reproduce“ ili „Incomplete“. Jedan nalaz oblikovao je metodu: jezični model pročitao je 240 tih prijava, 120 parova istog autora, ne znajući ni ishod ni autora. Na pitanje je li navedena verzija ili okruženje, češće ih je nalazio u loše primljenim prijavama (63 % prema 50 %). Na pitanje što programeru još treba, za iste prijave češće je navodio verziju ili okruženje (48 % prema 33 %). Spomenuti verziju još ne znači odgovoriti na pitanje u kojoj se verziji greška javlja.

Pravila iz ručne ocjene

Ručno smo ocijenili 35 tekstova, većinu na ljestvici od 0 do 10: 0 je obrazac bez sadržaja, 5 do 6 može se napraviti nakon nekoliko pitanja, 9 ostavlja jedno otvoreno pitanje, 10 znači da nema što dodati. Za 28 od tih tekstova naš je prvi katalog pitanja postavio 86 pitanja; 35 smo ih označili, 26 kao opravdana i 9 kao suvišna. Tako je nastao pisani vodič s 37 pravila i 33 testna slučaja.

Primjeri pravila: izjava bez ograničenja znači uvijek i svugdje, pa verzija koja nedostaje ne košta ništa ako tekst ne kaže „ponekad“ ili „nakon ažuriranja“; zabrana se broji samo ako zatvara put koji zadatak sugerira; proturječni zahtjevi koštaju najviše. U jednom testu ocjena istih činjenica, prepisanih s jasnom vezom i imenovanim objektom, porasla je s 1 na 9–10 od 10. U drugom je prijava ručno ocijenjena s 10 bila zatvorena kao „Cannot Reproduce“: ishod u sustavu je signal, a ne presuda.

Jezični modeli kao ocjenjivači i kao učitelj

37 pravila pretvorili smo u vodič za ocjenjivanje namijenjen velikim jezičnim modelima i usporedili 5 modela na 27 tekstova s ručnom brojčanom ocjenom. Pravila su nastala iz tih tekstova, pa usporedba pokazuje koliko se model drži pravila, a ne kako se snalazi s novim tekstovima: dva najbolja pogodila su ručnu ocjenu s odstupanjem od najviše 1 boda u 22 teksta od 27 (korelacija rangova do 0,94), najslabiji u 12 od 27.

Jedan od ta dva modela zatim je ocijenio 2.424 teksta rečenicu po rečenicu: 600 javnih zadataka i prijava grešaka iz Apache Jire, 384 teksta u kojima su jezični modeli iste činjenice iznijeli u 4 stila, 600 tekstova koje je sam napisao za trening na njemačkom, poljskom, češkom, hrvatskom i ruskom te 840 tekstova, po 120 na slovačkom, slovenskom, bugarskom, francuskom, talijanskom, španjolskom i nizozemskom, koje su napisali jezični modeli ne znajući pravila. To je 18.420 ocijenjenih rečenica, od kojih je 21,4 % slop. Mali model u vašem pregledniku učio je iz tih ocjena. U unakrsnoj validaciji slaže se s učiteljem uz korelaciju rangova 0,85, a na tekstovima na kojima nije učio rečenice koje je učitelj označio kao slop pronalazi uz AUROC 0,92. S ručnim ocjenama 25 tekstova slaže se uz korelaciju rangova 0,81, ali pravila iznad modela nastala su iz istih tekstova, pa su pošteniji pokazatelj izdvojeni testovi u nastavku.

Kad provjeravate tekst, nijedan jezični model ga ne čita. Poziv modelu poslao bi tekst trećoj strani, mogao bi za isti tekst dati drukčiji odgovor i stajao bi novca po svakoj provjeri; mali model radi na oko 350 KB fiksnih težina.

Predviđanja zapisana unaprijed

Za 5 eksperimenata zapisali smo predviđanja u datoteku prije pokretanja testa; za test obrazaca od 20. listopada 2026. kontrolni zbroj MD5 te datoteke počinje s ff01ce1a. Predviđali smo da će jednostavna verzija teksta pobijediti verziju u stilu asistenta u 85 do 95 % parova; pobijedila je u 79 %. Predviđali smo da će odbijene prijave iz Bugzille biti kraće; bile su dulje, s medijanom od 165 riječi prema 124. Na parovima prijava istog autora iz Jire promašila su 3 predviđanja od 4. Nakon promašaja s Bugzillom u svim kasnijim usporedbama koristili smo prijave istog autora.

Što nije uspjelo

Rijetkost riječi (AUROC od 0,45 do 0,49). Udio pomoćnih riječi i riječi punila, koji je na izdvojenim stranicama dosegao AUROC od samo 0,31, lošije od slučajnosti. Presuda „premalo sadržaja“, točna 1 put od 9. Brojenje jedinica značenja ili kontrolni popis potpunosti s 5 točaka, koji su se s cjelovitim čitanjem slagali uz korelaciju rangova od samo 0,18 do 0,26. 8 pokazatelja po uzoru na signale tražilica, odbačenih već u fazi nacrta. Usporedba stranice s prvih 3 do 10 rezultata pretraživanja, za koju treba plaćeni API tražilice. Široke verzije eksplicitnih pravila, koje su reagirale na 33 prijave iz Jire; svaki provjereni slučaj bio je lažna uzbuna. Jezični model u trenutku provjere: bio je najbliži ručnim ocjenama, ali bi vaš tekst slao trećoj strani i naplaćivao svaku provjeru.

Kako testiramo metodu

Izdvajamo 24 briefa na engleskom i njemačkom, svaki napisan u 4 verzije pomoću jezičnih modela. Jednostavna verzija dobiva viši rezultat od napuhane u sva 24 para i viši od verzije u stilu asistenta u 83 %. Za svaki od 7 jezika dodanih 24. listopada izdvajamo još 6 briefova u 4 verzije: jednostavna verzija pobjeđuje napuhanu u svakom paru, a verziju u stilu asistenta u 100 % parova na slovačkom i slovenskom, u 92 % na talijanskom i nizozemskom, u 83 % na bugarskom i francuskom te u 58 % na španjolskom.

Na 120 izdvojenih parova prijava istog autora iz Jire ispravljena prijava ima viši rezultat u oko 60 % parova. Jezični model koji istih 240 prijava čita naslijepo, ne znajući ni ishod ni autora, dolazi do 64 %. Briefove na engleskom i njemačkom i parove iz Jire izostavili smo iz treninga, ali smo pomoću njih birali između varijanti eksplicitnih pravila, pa na novim tekstovima rezultati mogu biti nešto niži. Hoće li prijava biti ispravljena ili zatvorena kao „Cannot Reproduce“, ovisi i o samoj grešci: možda je već ispravljena u novijoj verziji, javlja se samo u jednom okruženju ili proizlazi iz pogreške u konfiguraciji, pa 100 % u ovom testu nije moguće.

Kako se procjena računa

Za cijeli tekst model čita 182 signala, poput brojeva, verzija, uvjeta, pragova, imena, citiranih poruka, neodređenih riječi, nepotkrijepljenih tvrdnji, ponavljanja i praznih naslova predložaka, a uz to riječi i parove riječi hashirane u 16.384 ćelije. Za svaku rečenicu drugi model sa 68 signala i istim hashiranim riječima odlučuje je li slop. Model teksta je linearna regresija na tim signalima, a model rečenica logistička regresija; oba su podešena na 2.424 ocijenjena teksta. Iznad modela vrijede 3 pravila iz ručne ocjene. Početak zakazan nakon roka košta 25 bodova. Zadatak koji počinje s „podijeliti na 4 kartice“, a ne kaže što podijeliti, dobiva najviše 20 %. Predložak s praznim naslovima dobiva najviše 10 %. Težine zauzimaju oko 350 KB i učitavaju se sa stranicom, a tekst od 3.000 znakova provjerava se za manje od 100 milisekundi.

Rečenice i jezici

Tekst dijelimo na rečenice po točkama, upitnicima, uskličnicima, trotočjima i prijelomima redaka, ali ne unutar „v8.1“, „1.200“ ili web-adrese i ne nakon datuma poput „7. Juni“. Podržavamo 12 jezika: hrvatski, engleski, poljski, češki, slovački, slovenski, bugarski, njemački, francuski, talijanski, španjolski i nizozemski. Jezik se prepoznaje automatski: na našim ranijim testnim skupovima točno u 99,6 % slučajeva, na kratkim tekstovima na novim jezicima u 97,1 %. Popise fraza sa slopom za 11 jezika osim engleskog sastavili smo sami; za njemački, poljski, češki i hrvatski otvorene popise nismo pronašli. Provjera bez naknade prima od 80 do 3.000 znakova, što pokriva 97,5 % prikupljenih prijava grešaka iz Jire, ne računajući blokove koda. Poznata pristranost: već sam jezik pomiče procjenu za nekoliko bodova. Uz iste signale tekstovi na španjolskom, francuskom, češkom i talijanskom dobivaju 5 do 8 bodova manje nego na engleskom, a na njemačkom i nizozemskom oko 4 boda više, pa rezultate uspoređujte unutar jednog jezika.

Što ne mjerimo

Ne mjerimo autorstvo, istinitost ni poziciju na Googleu ili Bingu. Na uzorku javnog benchmarka RAID na engleskom značajke teksta temeljene na pravilima prepoznale su najviše 28 % tekstova koje je napisala umjetna inteligencija uz 5 % lažnih uzbuna, pa ne nudimo prepoznavanje autorstva. Bilješka od 2 retka može biti baš prava za tim koji dijeli kontekst: procjena vidi samo tekst.

Pitanja

Kako provjeriti tekst na AI slop?

Zalijepite ga u polje na početnoj stranici: od 80 do 3.000 znakova, do 5 tekstova dnevno besplatno. Dobit ćete informacijski dobitak, udio slopa i rečenice sa slopom označene u tekstu.

Sprema li se moj tekst ili se negdje šalje?

Ne. Provjera radi u vašem pregledniku: tekst se ne šalje nama i ne sprema se. Poveznica na rezultat nosi tekst u dijelu adrese iza znaka #, koji preglednici ne šalju poslužiteljima.

Koje tekstove mogu provjeriti?

Članke, stranice proizvoda, objave, zadatke, user storyje i prijave grešaka na 12 jezika: hrvatskom, engleskom, poljskom, češkom, slovačkom, slovenskom, bugarskom, njemačkom, francuskom, talijanskom, španjolskom i nizozemskom, od 80 do 3.000 znakova.

Kako napisati dobru prijavu greške?

Opišite kako ponoviti problem: koji koraci, koja verzija, koji uređaj i od kojeg se praga greška javlja. U istraživanju 180 ponovljivih prijava grešaka Android aplikacija u 92,2 % nedostajao je barem 1 korak (Johnson i sur., 2022). „Izvoz se prekida kod narudžbi s više od 500 stavki u Chromeu 128“ isključuje mnogo više nego „izvoz ponekad ne radi“. Zalijepite prijavu u provjeru i vidjet ćete koje rečenice ne odgovaraju ni na jedno od tih pitanja.

Je li Slopcheck detektor AI tekstova?

Nije. Slopcheck procjenjuje koliko tekst kaže čitatelju. Ne kaže tko ili što ga je napisao: generirani tekst sa stvarnim činjenicama može dobiti visok rezultat, a ručno pisani bez činjenica dobiva nizak.

Po čemu se Slopcheck razlikuje od alata koji traže tragove AI-ja?

Alati koji broje duge crtice, „delve“ ili „tapestry“ gledaju površinu teksta. Slopcheck gleda ono što čitatelj dobiva: tekst može izbjeći sve tragove i ipak ne odgovoriti ni na jedno pitanje.

Što je putovnica teksta?

Zapis jednog točno određenog teksta: hash, informacijski dobitak, slop, verzija metode i datum provjere, na stranici s vlastitom poveznicom. Tko ima tekst, zalijepi ga ondje i vidi podudara li se: ako se razlikuje i samo 1 znak, hash je drukčiji. Svaka izmjena sprema se kao nova verzija s vlastitim rezultatima.

Trebam li dodatak ili SDK za API?

Ne. U paketu Tim provjera je jedan HTTP zahtjev s tekstom. Uklapa se u korak u CI-ju, hook prije objave u CMS-u ili polje u vašem sustavu za praćenje zadataka.

Izvori

Provjerite svoj tekst

Zalijepite članak, opis proizvoda, zadatak ili prijavu greške i pogledajte informacijski dobitak i slop.

Provjeri tekst besplatno

Kako računamo