Kako računamo

Informacijski dobiček

Bralec pride k besedilu z vprašanji: kaj točno se mora zgoditi, kje, kdaj, koliko, pod katerimi pogoji in zakaj. Informacijski dobiček je delež teh vprašanj, na katera besedilo odgovori. Pri 100 % bralec nima več česa vprašati; obrazec s praznimi polji je blizu 0 %. Model v vašem brskalniku ta delež oceni na lestvici od 0 do 10 in ga prikaže v korakih po 5 %.

Zamisel sega do Clauda Shannona, ki je informacijo meril v bitih: en bit je odgovor na eno vprašanje tipa da ali ne (Shannon, 1948). Poročilo o napaki z besedami „veliki izvozi ne uspejo“ razvijalcu pusti ugibanje, ali gre za 12.300 vrstic ali za 11.000, eno vprašanje da ali ne za drugim; „izvozi z več kot 10.000 vrsticami ne uspejo“ odgovori na vsa ta vprašanja hkrati. Warren Weaver je opisal tri ravni komunikacije: ali simboli pridejo do prejemnika, ali nosijo nameravani pomen in ali spremenijo, kar prejemnik stori (Weaver, 1949); Slopcheck deluje na drugi in tretji ravni.

Informacijski dobiček in SEO

Pri optimizaciji za iskalnike (SEO) izraz informacijski dobiček (v angleščini information gain) pomeni, kaj stran doda poleg strani, ki jih je bralec že videl. Google ima patent za takšno oceno, „Contextual estimation of link information gain“ (US 11,354,342 B2, podeljen 7. junija 2022). Patent ne dokazuje, da se ocena uporablja pri razvrščanju; Googlove javne smernice sprašujejo, ali vsebina ponuja izvirne informacije, poročanje, raziskave ali analize (v angleščini „original information, reporting, research, or analysis“, Google Search Central). Slopcheck meri del, ki ga 1 besedilo pokaže samo, brez primerjave z drugimi stranmi: delež bralčevih vprašanj, na katera odgovori, od 0 do 100 %.

Kaj izjava izključi

Rudolf Carnap in Yehoshua Bar-Hillel sta opisala pomensko plat informacije: izjava nosi več informacije, čim več možnih stanj sveta izključi (Carnap in Bar-Hillel, 1952). „Izvoz ne uspe pri naročilih z več kot 500 vrsticami v Chromu 128“ izključi veliko več kot „izvoz včasih ne uspe“. Imenovan prag je najmočnejša oblika: „3.1.4 deluje, 3.2.0 ne deluje“ razvijalcu pove, katero izdajo naj odpre.

Ali je izjava resnična, je ločeno vprašanje (Stanford Encyclopedia of Philosophy). Slopcheck ne preverja dejstev: „naročila z več kot 500 vrsticami“ dobijo enako oceno, ne glede na to, ali je pravi prag 500 ali 5.000.

Kaj je pomembno za bralca

Ronald Howard je leta 1966 pokazal, da je informacija vredna toliko, kolikor spremeni v odločitvi (Howard, 1966). Za razvijalca „Chrome 128“ odloči, katerega od 3 brskalnikov naj preizkusi; „izvoz je pomemben“ ne odloči ničesar. Na strani izdelka „4 EUR na uporabnika na mesec, prvih 30 dni brezplačno“ spremeni odločitev o nakupu; „brezhibna izkušnja“ je ne. V poročilu o napaki so različica, koraki in prag tisto, kar spremeni razvijalčev naslednji korak.

Slop

Slop je delež besedila, štet v besedah, ki ne odgovori na nobeno bralčevo vprašanje. Ločimo 4 vrste: prazne povedi, ki bi ustrezale vsakemu besedilu, očitne, ki ne izključijo ničesar, kar je bralec upošteval, nepomembne, ki ne spremenijo nobene odločitve, in nerazrešljive, kot sta „kot dogovorjeno“ ali „enako kot tam“. Štejejo tudi ponovitve tega, kar je besedilo že povedalo. V rezultatu je vsaka poved s slopom označena.

S stališča pogovora slop krši 2 maksimi, ki ju je opisal Paul Grice: bodi tako informativen, kot je treba, in ne bolj, ter govori o tem, kar je relevantno (Grice, 1975). Ponovitve so tisto, čemur je Shannon rekel redundanca: del sporočila, ki bi ga bralec lahko predvidel iz preostanka.

Slog ni slop: „popravili smo izvoz CSV“ in „težava z izvozom CSV je bila odpravljena“ štejeta enako.

Kako sta številki povezani

Slop ne nosi informacije, zato je zgornja meja dobička tem nižja, čim več besedila je slop: besedilo s 60 % slopa doseže največ približno 50 %, besedilo s 95 % slopa ali več pa največ 10 %. Polnih 100 % se prikaže le, kadar nobena poved ni slop; sicer se dobiček ustavi pri 95 %. Dolžina ni cilj: poročilo o napaki s 50 besedami lahko doseže 90 %.

Poročila o napakah, naloge in opisi izdelkov

Zapisali smo 27 vprašanj, s katerimi bralec pride k besedilu: 7 za vsako besedilo, 8 za poročila o napakah, 7 za naloge in 5 za strani izdelkov. Poročilo o napaki odgovori na vprašanja: katera različica, kateri koraki, kaj je bilo pričakovano in kaj se je zgodilo, vedno ali včasih in od katere izdaje. Naloga odgovori: kaj, kje, zakaj, kako preveriti, da je opravljena, in česa se ne sme dotikati; dobra merila sprejemljivosti se glasijo na primer „34 nastavitev, 4 zavihki, brez sprememb besedila“. Opis izdelka odgovori: za koga je izdelek, kaj počne, kaj to dokazuje, kakšna je cena in kateri je naslednji korak. Model se je teh razlik naučil iz 2.424 primerov, ki jih je ocenil jezikovni model, zato vam pred lepljenjem besedila ni treba izbrati žanra.

5 različic v 4 dneh

Različica 1 je 19. oktobra 2026 štela funkcijske besede, mašila in konkretne podrobnosti na 100 besed. Različica 2 je dodala redkost besed, merjeno s seznami pogostnosti, ki smo jih za vsak jezik prešteli iz približno 600.000 besed z Wikipedije; na 55 spletnih straneh, ki sta jih ocenila dva jezikovna modela, se je izkazala za šum (AUROC od 0,45 do 0,49), zato smo jo opustili. Različica 3 je presojala po konkretnosti na 100 besed; na 37 novih straneh, odloženih za preizkus, je bila njena sodba „premalo vsebine“ pravilna v 1 primeru od 9, zato je postala le namig.

Različica 4 je uporabila katalog približno 1.000 vzorcev v 5 jezikih in na istih 37 straneh ločila napihnjene strani od gostih (AUROC 0,75; te rezultate smo videli že med razvojem, zato je številka optimistična). Na resničnih poročilih o napakah je bila na ravni naključja (od 0,47 do 0,52). Ta neuspeh nas je od štetja besed premaknil k štetju bralčevih odprtih vprašanj in k različici 5 (s2) 22. oktobra; 24. oktobra smo jo na novo naučili za 12 jezikov (s3).

Kaj so nas naučili sledilniki napak

Vzeli smo 1.355 poročil iz Mozilla Bugzilla, oddanih med letoma 2023 in 2025. Poročila, zaprta kot nepopolna ali „works for me“, in poročila, katerih avtorja so prosili za več informacij, so bila daljša od poročil, popravljenih brez takšne prošnje (mediana 165 besed proti 124), in bolj konkretna: zunanji uporabniki izpolnijo celotno predlogo, ki se pojavi v 38 % poročil „works for me“ in v 14 % popravljenih, inženirji pa pišejo kratke zapiske, ki se zanašajo na skupni kontekst. Izid je meril, kdo je napisal poročilo, zato smo od takrat primerjali poročila istega avtorja.

V Apache Jira smo zbrali 11.129 poročil o napakah iz 165 projektov, vloženih od leta 2022, in popravljena poročila primerjali s tistimi, zaprtimi kot „Cannot Reproduce“ ali „Incomplete“. Metodo je oblikovala ena ugotovitev: jezikovni model je prebral 240 teh poročil, 120 parov istega avtorja, ne da bi poznal izid ali avtorja. Na vprašanje, ali je navedena različica ali okolje, je tak podatek pogosteje našel v slabo sprejetih poročilih (63 % proti 50 %). Na vprašanje, kaj bi razvijalec še potreboval, je pri istih poročilih pogosteje navedel različico ali okolje (48 % proti 33 %): omeniti podrobnost ni isto kot odgovoriti na vprašanje.

Pravila iz ročnega pregleda

Ročno smo ocenili 35 besedil, večino na lestvici od 0 do 10: 0 je obrazec brez vsebine, pri 5 do 6 je delo mogoče opraviti po nekaj vprašanjih, 9 pusti odprto eno vprašanje, pri 10 ni treba ničesar dodati. Pri 28 od teh besedil je naš prvi katalog vprašanj postavil 86 vprašanj; 35 smo jih označili, 26 kot upravičena in 9 kot pretirana. Rezultat je pisni vodnik s 37 pravili in 33 testnimi primeri.

Primeri pravil: izjava brez omejitve pomeni vedno in povsod, zato manjkajoča različica ne stane ničesar, razen če besedilo pravi „včasih“ ali „po posodobitvi“; prepoved šteje le, če zapre pot, ki jo naloga nakazuje; nasprotujoče si zahteve stanejo največ. V enem preizkusu so se ista dejstva, prepisana z izrecno povezavo in imenovanim predmetom, povzpela z 1 na 9–10 od 10. V drugem je bilo poročilo, ki je ročno dobilo oceno 10, zaprto kot „Cannot Reproduce“: izid v sledilniku je signal, ne razsodba.

Jezikovni modeli kot ocenjevalci in kot učitelj

37 pravil smo pretvorili v ocenjevalni vodnik za velike jezikovne modele in primerjali 5 modelov na 27 besedilih s številčnimi ročnimi ocenami. Pravila izhajajo iz teh besedil, zato to kaže, kako natančno vsak model sledi pravilom, ne pa, kako se odreže na novih besedilih: najboljša dva sta bila v 22 od 27 besedil največ 1 točko od ročne ocene (rangovna korelacija do 0,94), najšibkejši v 12 od 27.

Eden od obeh je nato poved za povedjo ocenil 2.424 besedil: 600 javnih nalog in poročil o napakah iz Apache Jira, 384 besedil z istimi dejstvi, ki so jih jezikovni modeli napisali v 4 slogih, 600 besedil, ki jih je isti model za učenje napisal v nemščini, poljščini, češčini, hrvaščini in ruščini, ter 840 besedil, po 120 v slovaščini, slovenščini, bolgarščini, francoščini, italijanščini, španščini in nizozemščini, ki so jih jezikovni modeli napisali, ne da bi videli pravila. To je 18.420 označenih povedi, od katerih je 21,4 % slop. Mali model v vašem brskalniku se je učil iz teh oznak. Pri navzkrižnem preverjanju se z učiteljem ujema z rangovno korelacijo 0,85, na besedilih, iz katerih se ni učil, pa učiteljeve povedi s slopom najde z AUROC 0,92. Na 25 ročno ocenjenih besedilih se z ročnimi ocenami ujema z rangovno korelacijo 0,81, vendar pravila nad njim izhajajo iz istih besedil, zato so spodnji preizkusi na odloženih podatkih poštenejše merilo.

Ko preverjate besedilo, ga ne prebere noben jezikovni model. Klic modela bi besedilo poslal tretji osebi, pri istem besedilu ne bi vedno dal istega odgovora in bi stal denar pri vsakem preverjanju; mali model deluje v približno 350 KB stalnih uteži.

Napovedi, zapisane vnaprej

Pri 5 poskusih smo napovedi zapisali v datoteko, preden smo izvedli preizkus; pri preizkusu vzorcev 20. oktobra 2026 se kontrolna vsota MD5 te datoteke začne z ff01ce1a. Napovedali smo, da bo preprosta različica besedila premagala različico v slogu asistenta v 85 % do 95 % parov; to se je zgodilo v 79 %. Napovedali smo, da bodo zavrnjena poročila v Bugzilli krajša; bila so daljša, z mediano 165 besed proti 124. Pri parih iz Jire istega avtorja so 3 od 4 napovedi zgrešile. Po zgrešeni napovedi pri Bugzilli je vsaka poznejša primerjava uporabila poročila istega avtorja.

Kaj ni delovalo

Redkost besed (AUROC od 0,45 do 0,49). Delež funkcijskih besed in mašil, ki je na odloženih straneh dosegel AUROC le 0,31, slabše od naključja. Sodba „premalo vsebine“, ki je bila pravilna 1-krat od 9. Štetje pomenskih enot ali kljukanje 5-točkovnega kontrolnega seznama popolnosti, ki se je z branjem celotnega besedila ujemalo z rangovno korelacijo le od 0,18 do 0,26. 8 kazalnikov po vzoru signalov iskalnikov, zavrnjenih že v fazi zasnove. Primerjava strani s prvimi 3 do 10 zadetki iskanja, ki zahteva plačljiv API za iskanje. Široke različice izrecnih pravil, ki so se sprožile pri 33 poročilih iz Jire; vsaka sprožitev, ki smo jo preverili, je bila lažen alarm. Jezikovni model med preverjanjem: najbolj se je približal ročnim ocenam, a bi vaše besedilo poslal tretji osebi.

Kako preizkušamo metodo

Ločeno hranimo 24 izhodišč v angleščini in nemščini, iz vsakega so jezikovni modeli napisali 4 različice. Preprosta različica doseže več kot napihnjena v vseh 24 parih in več kot različica v slogu asistenta v 83 %. Za vsakega od 7 jezikov, dodanih 24. oktobra, ločeno hranimo še 6 izhodišč v 4 različicah: preprosta različica premaga napihnjeno v vsakem paru, različico v slogu asistenta pa v 100 % parov v slovaščini in slovenščini, v 92 % v italijanščini in nizozemščini, v 83 % v bolgarščini in francoščini ter v 58 % v španščini.

Na 120 ločeno hranjenih parih poročil iz Jire istega avtorja popravljeno poročilo doseže več v približno 60 % parov. Jezikovni model, ki istih 240 poročil bere na slepo, brez izida in avtorja, doseže 64 %. Angleška in nemška izhodišča ter pari iz Jire so bili izločeni iz učenja, vendar smo jih uporabili za izbiro med različicami izrecnih pravil, zato so rezultati na novih besedilih lahko nekoliko nižji. Ali je poročilo na koncu popravljeno ali zaprto kot „Cannot Reproduce“, je odvisno tudi od same napake: ta je lahko že odpravljena v novejši različici, se pojavlja le v enem okolju ali izvira iz napačne konfiguracije, zato 100 % na tem preizkusu ni mogoče.

Kako se izračuna ocena

Za celotno besedilo model prebere 182 signalov, kot so števila, različice, pogoji, pragovi, imena, citirana sporočila, nejasne besede, nepodprte trditve, ponovitve in prazni naslovi iz predlog, ter besede in besedne pare, z zgoščevanjem razporejene v 16.384 celic; drugi model z 68 signali in istimi zgoščenimi besedami za vsako poved odloči, ali je slop. Model za besedilo je linearna regresija na teh signalih, model za povedi pa logistična regresija, oba prilagojena na 2.424 ocenjenih besedilih. Nad modelom veljajo 3 pravila iz ročnega pregleda. Začetni čas po roku stane 25 točk. Naloga, ki se začne z „razdeliti na 4 zavihke“ in nikjer ne pove, kaj naj razdeli, dobi največ 20 %. Predloga s praznimi naslovi dobi največ 10 %. Uteži zasedejo približno 350 KB in se naložijo s stranjo, besedilo s 3.000 znaki pa je preverjeno v manj kot 100 milisekundah.

Povedi in jeziki

Besedilo razdelimo na povedi pri pikah, vprašajih, klicajih, treh pikah in prelomih vrstic, ne pa znotraj „v8.1“, „1.200“ ali spletnega naslova in ne za datumom, kot je „7. junija“. Podprtih je 12 jezikov: angleščina, poljščina, češčina, slovaščina, hrvaščina, slovenščina, bolgarščina, nemščina, francoščina, italijanščina, španščina in nizozemščina. Jezik se zazna samodejno: 99,6 % pravilno na naših prejšnjih testnih zbirkah in 97,1 % na kratkih besedilih v novih jezikih. Sezname fraz s slopom za 11 jezikov poleg angleščine smo sestavili sami; za nemščino, poljščino, češčino in hrvaščino nismo našli odprtih. Brezplačna preverjanja sprejmejo od 80 do 3.000 znakov, kar zajame 97,5 % poročil o napakah iz Jire, ki smo jih zbrali, brez blokov kode. Znana pristranskost: že sam jezik premakne oceno za nekaj točk. Pri istih signalih dobijo španska, francoska, češka in italijanska besedila od 5 do 8 točk manj kot angleška, nemška in nizozemska pa približno 4 točke več, zato ocene primerjajte znotraj enega jezika.

Česa ne merimo

Slopcheck ne meri, kdo je napisal besedilo, ali je resnično in kako se bo uvrstilo v Googlu ali Bingu. Na vzorcu javnega primerjalnega testa RAID v angleščini so značilnosti besedila, ki temeljijo na pravilih, ujele največ 28 % besedil, ki jih je napisala umetna inteligenca, pri 5-odstotni stopnji lažnih alarmov, zato ne ponujamo zaznavanja avtorstva. Zapisek v 2 vrsticah je lahko povsem pravi za ekipo, ki si deli kontekst: ocena vidi le besedilo.

Vprašanja

Kako preverim besedilo na AI slop?

Prilepite ga v polje na domači strani: od 80 do 3.000 znakov, brezplačno do 5 besedil na dan. Dobite informacijski dobiček, delež slopa in povedi s slopom, označene v besedilu.

Ali se moje besedilo kam shrani ali pošlje?

Ne. Preverjanje poteka v vašem brskalniku: besedilo nam ni poslano in se ne shrani. Povezava do rezultata hrani besedilo v delu naslova za znakom #, ki ga brskalniki ne pošiljajo strežnikom.

Katera besedila lahko preverim?

Članke, strani izdelkov, objave, naloge, uporabniške zgodbe in poročila o napakah v 12 jezikih: angleščini, poljščini, češčini, slovaščini, hrvaščini, slovenščini, bolgarščini, nemščini, francoščini, italijanščini, španščini in nizozemščini, od 80 do 3.000 znakov.

Kako napišem dobro poročilo o napaki?

Navedite, kako težavo ponoviti: katere korake, katero različico, katero napravo in pri katerem pragu začne odpovedovati. V raziskavi 180 ponovljivih poročil o napakah v aplikacijah za Android je v 92,2 % poročil manjkal vsaj 1 korak (Johnson in sod., 2022). „Izvoz ne uspe pri naročilih z več kot 500 vrsticami v Chromu 128“ izključi veliko več kot „izvoz včasih ne uspe“. Prilepite poročilo v preverjanje in videli boste, katere povedi ne odgovorijo na nobeno od teh vprašanj.

Je Slopcheck detektor AI?

Ne. Slopcheck oceni, koliko besedilo pove bralcu. Ne pove, kdo ali kaj ga je napisal: generirano besedilo z resničnimi dejstvi lahko dobi visoko oceno, ročno napisano brez njih pa nizko.

V čem se razlikuje od orodij, ki iščejo znake AI?

Orodja, ki štejejo dolge pomišljaje, „delve“ ali „tapestry“, gledajo površino besedila. Slopcheck gleda, kaj dobi bralec: besedilo se lahko izogne vsem znakom in vseeno ne odgovori na nobeno bralčevo vprašanje.

Kaj je potni list besedila?

Zapis enega točno določenega besedila: njegova zgoščena vrednost, informacijski dobiček, slop, različica metode in datum preverjanja, na strani z lastno povezavo. Kdor ima besedilo, ga lahko tam prilepi in vidi, ali se ujema: če se razlikuje že 1 znak, se razlikuje tudi zgoščena vrednost. Vsak popravek se shrani kot nova različica z lastnimi ocenami.

Ali za uporabo API-ja potrebujem vtičnik ali SDK?

Ne. V paketu Ekipa je preverjanje ena zahteva HTTP z besedilom. Vstavite ga lahko v korak CI, v kljuko pred objavo v CMS-ju ali v polje v vašem sledilniku nalog.

Viri

1. C. E. Shannon (1948). A Mathematical Theory of Communication. Bell System Technical Journal
2. C. E. Shannon, W. Weaver (1949). The Mathematical Theory of Communication. University of Illinois Press
3. Google LLC (2022). Contextual estimation of link information gain. Patent ZDA 11,354,342 B2
4. Google Search Central. Creating helpful, reliable, people-first content
5. R. Carnap, Y. Bar-Hillel (1952). An Outline of a Theory of Semantic Information. MIT Research Laboratory of Electronics
6. S. Sequoiah-Grayson, L. Floridi. Semantic Conceptions of Information. Stanford Encyclopedia of Philosophy
7. R. A. Howard (1966). Information Value Theory. IEEE Transactions on Systems Science and Cybernetics
8. H. P. Grice (1975). Logic and Conversation; maksime so povzete v geslu „Implicature“, Stanford Encyclopedia of Philosophy
9. J. Johnson in sod. (2022). An Empirical Investigation into the Reproduction of Bug Reports for Android Apps. SANER 2022, razdelek IV-C
10. Apache Software Foundation. Sledilnik zahtevkov Jira, javna poročila o napakah in naloge 2022–2026
11. Mozilla. Bugzilla, javna poročila o napakah 2023–2025
12. L. Dugan in sod. (2024). „RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors“. ACL 2024