Ako počítame

Informačný zisk

Čitateľ prichádza k textu s otázkami: čo presne sa má stať, kde, kedy, koľko, za akých podmienok a prečo. Informačný zisk je podiel týchto otázok, na ktoré text odpovedá. Pri 100 % sa čitateľ už nemá na čo pýtať; formulár s prázdnymi poľami má takmer 0 %. Model vo vašom prehliadači odhaduje tento podiel ako hodnotenie od 0 do 10 a zobrazuje ho v krokoch po 5 %.

Myšlienka pochádza od Clauda Shannona, ktorý meral informáciu v bitoch: jeden bit je odpoveď na jednu otázku typu áno/nie (Shannon, 1948). Pri bug reporte „veľké exporty zlyhávajú“ sa vývojár musí pýtať, či ide o 12 300 riadkov alebo o 11 000, jednu otázku typu áno/nie za druhou; „exporty nad 10 000 riadkov zlyhávajú“ na ne odpovedá naraz. Warren Weaver opísal tri úrovne komunikácie: či symboly dorazia, či nesú zamýšľaný význam a či zmenia to, čo príjemca urobí (Weaver, 1949). Slopcheck pracuje na druhej a tretej úrovni.

Informačný zisk v SEO

V SEO znamená informačný zisk (anglicky information gain) to, čo stránka pridáva k stránkam, ktoré už čitateľ videl. Google vlastní patent na takéto skóre, „Contextual estimation of link information gain“ (US 11,354,342 B2, udelený 7. júna 2022). Patent nedokazuje, že sa skóre používa pri zoraďovaní výsledkov; verejné odporúčania Googlu sa pýtajú, či obsah prináša pôvodné informácie, spravodajstvo, výskum alebo analýzu (v angličtine „original information, reporting, research, or analysis“, Google Search Central). Slopcheck meria tú časť, ktorú 1 text ukáže sám osebe, bez porovnania s inými stránkami: podiel otázok čitateľa, na ktoré odpovedá, od 0 do 100 %.

Čo výrok vylučuje

Rudolf Carnap a Yehoshua Bar-Hillel opísali významovú stránku informácie: výrok nesie tým viac informácie, čím viac možných stavov sveta vylučuje (Carnap a Bar-Hillel, 1952). „Export zlyháva pri objednávkach s viac ako 500 riadkami v Chrome 128“ vylučuje oveľa viac než „export niekedy zlyháva“. Najsilnejšou formou je pomenovaná hranica: „3.1.4 funguje, 3.2.0 zlyháva“ povie vývojárovi, ktoré vydanie má otvoriť.

Či je výrok pravdivý, je samostatná otázka (Stanford Encyclopedia of Philosophy). Slopcheck nekontroluje fakty: „objednávky s viac ako 500 riadkami“ dostanú rovnaké skóre, či je skutočná hranica 500, alebo 5 000.

Na čom záleží čitateľovi

Ronald Howard v roku 1966 ukázal, že informácia má takú hodnotu, akú zmenu prinesie do rozhodnutia (Howard, 1966). Pre vývojára „Chrome 128“ rozhoduje, ktorý z 3 prehliadačov otestovať; „export je dôležitý“ nerozhoduje nič. Na produktovej stránke „4 EUR na používateľa mesačne, prvých 30 dní zadarmo“ mení rozhodnutie o kúpe; „bezproblémový zážitok“ nie. V bug reporte menia ďalší krok vývojára verzia, kroky a hranica.

Slop

Slop je podiel textu, počítaný v slovách, ktorý neodpovedá na žiadnu otázku čitateľa. Rozlišujeme 4 druhy: prázdne vety, ktoré by sa hodili do akéhokoľvek textu, samozrejmé vety, ktoré nevylučujú nič, o čom čitateľ uvažoval, irelevantné vety, ktoré nemenia žiadne rozhodnutie, a nerozlúštiteľné vety ako „ako sme sa dohodli“ alebo „to isté ako tam“. Rátajú sa aj opakovania toho, čo text už povedal. Vo výsledku je každá veta so slopom zvýraznená.

Z hľadiska konverzácie slop porušuje 2 z maxím, ktoré opísal Paul Grice: buď taký informatívny, ako treba, a nie viac, a hovor to, čo je relevantné (Grice, 1975). Opakovania sú to, čo Shannon nazval redundanciou: časť správy, ktorú by čitateľ vedel predpovedať zo zvyšku.

Štýl nie je slop: „opravili sme export do CSV“ a „problém s exportom do CSV bol vyriešený“ sa počítajú rovnako.

Ako spolu tie dve čísla súvisia

Slop nenesie žiadnu informáciu, takže čím väčšia časť textu je slop, tým nižší je strop jeho zisku: text so 60 % slopu dostane najviac približne 50 % a text s 95 % slopu alebo viac najviac 10 %. Plných 100 % sa zobrazí, iba ak žiadna veta nie je slop; inak sa zisk zastaví na 95 %. Dĺžka nie je cieľ: bug report s 50 slovami môže dostať 90 %.

Bug reporty, úlohy a popisy produktov

Spísali sme 27 otázok, s ktorými čitateľ prichádza k textu: 7 pre akýkoľvek text, 8 pre bug reporty, 7 pre úlohy a 5 pre produktové stránky. Hlásenie chyby odpovedá na otázky, ktorá verzia, aké kroky, čo sa očakávalo a čo sa stalo, či vždy alebo iba niekedy a od ktorého vydania. Úloha odpovedá na to, čo, kde a prečo treba urobiť, ako overiť, že je hotová, a čoho sa nedotýkať; dobré akceptačné kritériá znejú ako „34 nastavení, 4 karty, žiadne zmeny textov“. Stránka s popisom produktu uvádza, pre koho je produkt, čo robí, čo to dokazuje, aká je cena a aký je ďalší krok. Model sa tieto rozdiely naučil z 2 424 príkladov, ktoré ohodnotil jazykový model, takže pred vložením textu nemusíte vyberať žáner.

5 verzií za 4 dni

Verzia 1 z 19. októbra 2026 počítala funkčné slová, výplňové slová a konkrétne údaje na 100 slov. Verzia 2 pridala zriedkavosť slov, meranú podľa frekvenčných zoznamov, ktoré sme spočítali z približne 600 000 slov textu Wikipédie pre každý jazyk; na 55 webových stránkach, ktoré ohodnotili dva jazykové modely, to bol šum (AUROC 0,45 až 0,49), a tak sme ju vyradili. Verzia 3 posudzovala konkrétnosť na 100 slov; na 37 nových stránkach odložených na testovanie mal jej verdikt „príliš málo obsahu“ pravdu v 1 prípade z 9, a tak sa z neho stala iba nápoveda.

Verzia 4 používala katalóg približne 1 000 vzorov v 5 jazykoch a na tých istých 37 stránkach oddelila nafúknuté stránky od hutných (AUROC 0,75; tieto výsledky sme videli počas vývoja, takže číslo je optimistické). Na skutočných hláseniach chýb bola na úrovni náhody (0,47 až 0,52). Toto zlyhanie nás posunulo od počítania slov k počítaniu otvorených otázok čitateľa a 22. októbra k verzii 5 (s2); 24. októbra sme ju pretrénovali pre 12 jazykov (s3).

Čo nás naučili systémy na hlásenie chýb

Zobrali sme 1 355 hlásení z Mozilla Bugzilla z rokov 2023 až 2025. Hlásenia uzavreté ako neúplné alebo „works for me“, prípadne také, ktorých autora požiadali o ďalšie informácie, boli dlhšie ako hlásenia opravené bez takej žiadosti (medián 165 slov oproti 124) a konkrétnejšie: ľudia zvonka vypĺňajú celú šablónu, ktorá sa objavuje v 38 % hlásení „works for me“ a v 14 % opravených, kým inžinieri píšu krátke poznámky, ktoré sa spoliehajú na spoločný kontext. Výsledok hlásenia tak meral, kto ho napísal, preto sme odvtedy porovnávali hlásenia toho istého autora.

V Apache Jira sme zozbierali 11 129 hlásení chýb podaných od roku 2022 v 165 projektoch a porovnali sme opravené hlásenia s tými, ktoré boli uzavreté ako „Cannot Reproduce“ alebo „Incomplete“. Metódu sformovalo jedno zistenie: jazykový model prečítal 240 z týchto hlásení, 120 párov od toho istého autora, bez znalosti výsledku a autora. Na otázku, či je uvedená verzia alebo prostredie, ich našiel častejšie v zle prijatých hláseniach (63 % oproti 50 %). Na otázku, čo by vývojár ešte potreboval, uvádzal verziu alebo prostredie častejšie pri tých istých hláseniach (48 % oproti 33 %). Zmieniť detail nie je to isté ako odpovedať na otázku.

Pravidlá z ručného hodnotenia

Ručne sme ohodnotili 35 textov, väčšinu na stupnici od 0 do 10: 0 je prázdny formulár, 5 až 6 sa dá splniť po niekoľkých otázkach, 9 nechá jednu otázku otvorenú, 10 nenechá nič na doplnenie. Pri 28 z týchto textov vzniklo z nášho prvého katalógu 86 otázok; 35 z nich sme označili, 26 ako opodstatnené a 9 ako nadbytočné. Výsledkom je písaná príručka s 37 pravidlami a 33 testovacími prípadmi.

Príklady pravidiel: výrok bez obmedzenia znamená vždy a všade, takže chýbajúca verzia nič nestojí, pokiaľ text nehovorí „niekedy“ alebo „po aktualizácii“; zákaz sa počíta, iba ak uzatvára cestu, ktorú úloha naznačuje; protichodné požiadavky stoja najviac. V jednom teste tie isté fakty, prepísané s explicitným odkazom a pomenovaným objektom, stúpli z 1 na 9–10 z 10. V inom bolo hlásenie, ktoré pri ručnom hodnotení dostalo 10, uzavreté ako „Cannot Reproduce“: výsledok v trackeri je signál, nie verdikt.

Jazykové modely ako hodnotitelia a ako učiteľ

Z 37 pravidiel sme spravili príručku hodnotenia pre veľké jazykové modely a porovnali sme 5 modelov na 27 textoch s ručným číselným hodnotením. Pravidlá vznikli z týchto textov, takže výsledok ukazuje, ako presne sa každý model drží pravidiel, a nie, ako si poradí s novými textami: najlepšie dva sa v 22 z 27 textov odchýlili od ručného hodnotenia najviac o 1 bod (poradová korelácia do 0,94); najslabší v 12 z 27.

Jeden z nich potom ohodnotil 2 424 textov vetu po vete: 600 verejných úloh a hlásení chýb z Apache Jira, 384 textov s rovnakými faktami, ktoré jazykové modely napísali v 4 štýloch, 600 textov, ktoré ten istý model napísal na trénovanie v nemčine, poľštine, češtine, chorvátčine a ruštine, a 840 textov, po 120 v slovenčine, slovinčine, bulharčine, francúzštine, taliančine, španielčine a holandčine, ktoré jazykové modely napísali bez znalosti pravidiel. To je 18 420 označených viet, z nich 21,4 % slop. Malý model vo vašom prehliadači sa učil z týchto označení. Pri krížovej validácii sa zhoduje s učiteľom s poradovou koreláciou 0,85 a na textoch, z ktorých sa neučil, nachádza vety, ktoré učiteľ označil ako slop, s AUROC 0,92. Na 25 ručne hodnotených textoch sa zhoduje s ručným hodnotením s poradovou koreláciou 0,81, ale pravidlá nad ním pochádzajú z tých istých textov, takže spravodlivejším meradlom sú odložené testy nižšie.

Pri kontrole váš text nečíta žiadny jazykový model. Volanie modelu by text poslalo tretej strane, na ten istý text by mohlo dať inú odpoveď a stálo by peniaze za každú kontrolu; malý model beží v približne 350 KB pevných váh.

Predpovede zapísané vopred

Pri 5 experimentoch sme predpovede zapísali do súboru ešte pred spustením testu; pri teste vzorov 20. októbra 2026 sa kontrolný súčet MD5 tohto súboru začína na ff01ce1a. Predpovedali sme, že vecná verzia textu porazí verziu v štýle asistenta v 85 % až 95 % párov; stalo sa to v 79 %. Predpovedali sme, že zamietnuté hlásenia z Bugzilly budú kratšie; boli dlhšie, s mediánom 165 slov oproti 124. Pri pároch z Jira od toho istého autora sa 3 zo 4 predpovedí nesplnili. Po omyle s Bugzillou sme pri každom ďalšom porovnaní použili hlásenia toho istého autora.

Čo nefungovalo

Zriedkavosť slov (AUROC 0,45 až 0,49). Podiel funkčných a výplňových slov, ktorý na odložených stránkach dosiahol AUROC iba 0,31, horšie ako náhoda. Verdikt „príliš málo obsahu“, ktorý mal pravdu 1-krát z 9. Počítanie významových jednotiek alebo odškrtávanie 5-bodového kontrolného zoznamu úplnosti, ktoré sa s čítaním celého textu zhodovalo s poradovou koreláciou iba 0,18 až 0,26. 8 ukazovateľov podľa vzoru signálov vyhľadávačov, zamietnutých už pri návrhu. Porovnanie stránky s prvými 3 až 10 výsledkami vyhľadávania, ktoré si vyžaduje platené API vyhľadávania. Široké verzie explicitných pravidiel, ktoré sa spustili pri 33 hláseniach z Jira; každý prípad, ktorý sme overili, bol falošný poplach. Jazykový model pri kontrole: najviac sa priblížil ručnému hodnoteniu, ale váš text by poslal tretej strane.

Ako metódu testujeme

Odkladáme si 24 zadaní v angličtine a nemčine, každé napísané jazykovými modelmi v 4 verziách. Vecná verzia dostane vyššie skóre ako nafúknutá vo všetkých 24 pároch a vyššie ako verzia v štýle asistenta v 83 %. Pre každý zo 7 jazykov pridaných 24. októbra odkladáme ďalších 6 zadaní v 4 verziách: vecná verzia porazí nafúknutú v každom páre a verziu v štýle asistenta v 100 % párov v slovenčine a slovinčine, v 92 % v taliančine a holandčine, v 83 % v bulharčine a francúzštine a v 58 % v španielčine.

Na 120 odložených pároch hlásení z Jira od toho istého autora dostane opravené hlásenie vyššie skóre v približne 60 % párov. Jazykový model, ktorý číta tých istých 240 hlásení naslepo, bez výsledku a autora, dosiahne 64 %. Anglické a nemecké zadania a páry z Jira sme z trénovania vynechali, ale použili sme ich pri výbere medzi variantmi explicitných pravidiel, takže na nových textoch môžu byť výsledky o niečo nižšie. Či sa hlásenie skončí opravou, alebo uzavretím ako „Cannot Reproduce“, závisí aj od samotnej chyby: môže byť už opravená v novšej verzii, vyskytovať sa iba v jednom prostredí alebo pochádzať z chybnej konfigurácie, takže 100 % sa v tomto teste dosiahnuť nedá.

Ako sa odhad počíta

Pre celý text model číta 182 signálov, napríklad čísla, verzie, podmienky, hranice, mená, citované správy, vágne slová, nepodložené tvrdenia, opakovania a prázdne nadpisy šablóny, a tiež slová a dvojice slov zahashované do 16 384 buniek; druhý model so 68 signálmi a tými istými zahashovanými slovami rozhoduje pri každej vete, či je slop. Model textu je lineárna regresia na týchto signáloch a model viet logistická regresia, oba natrénované na 2 424 ohodnotených textoch. Nad modelom platia 3 pravidlá z ručného hodnotenia. Čas začiatku po termíne stojí 25 bodov. Úloha, ktorá sa začína slovami „rozdeliť na 4 karty“ a nikde nepovie, čo rozdeliť, dostane najviac 20 %. Šablóna s prázdnymi nadpismi dostane najviac 10 %. Váhy zaberajú približne 350 KB a načítajú sa so stránkou; text s 3 000 znakmi sa skontroluje za menej ako 100 milisekúnd.

Vety a jazyky

Text delíme na vety pri bodkách, otáznikoch, výkričníkoch, troch bodkách a zalomeniach riadkov, ale nie vnútri „v8.1“, „1.200“ alebo webovej adresy a nie za dátumom ako „7. Juni“. Podporujeme 12 jazykov: angličtinu, poľštinu, češtinu, slovenčinu, chorvátčinu, slovinčinu, bulharčinu, nemčinu, francúzštinu, taliančinu, španielčinu a holandčinu. Jazyk sa rozpoznáva automaticky: správne v 99,6 % na našich starších testovacích súboroch a v 97,1 % na krátkych textoch v nových jazykoch. Zoznamy fráz so slopom pre 11 jazykov okrem angličtiny sme zostavili sami; pre nemčinu, poľštinu, češtinu a chorvátčinu sme nenašli žiadne otvorené. Bezplatné kontroly spracujú 80 až 3 000 znakov, čo pokrýva 97,5 % hlásení chýb z Jira, ktoré sme zozbierali, bez blokov kódu. Známe skreslenie: samotný jazyk posúva odhad o niekoľko bodov. Pri rovnakých signáloch dostanú španielske, francúzske, české a talianske texty o 5 až 8 bodov menej ako anglické; nemecké a holandské približne o 4 body viac, preto porovnávajte skóre iba medzi textmi v tom istom jazyku.

Čo nemeriame

Slopcheck nemeria, kto text napísal, či je pravdivý, ani to, ako sa umiestni v Googli alebo Bingu. Na vzorke verejného benchmarku RAID v angličtine zachytili znaky textu založené na pravidlách najviac 28 % textov napísaných AI pri 5 % falošných poplachov. Preto neponúkame zisťovanie autorstva. Poznámka na 2 riadky môže byť pre tím so spoločným kontextom presne to, čo treba: odhad vidí iba text.

Otázky

Ako skontrolovať text na AI slop?

Vložte ho do poľa na hlavnej stránke: 80 až 3 000 znakov, zadarmo až 5 textov denne. Dostanete informačný zisk, podiel slopu a vety so slopom vyznačené v texte.

Ukladá sa môj text alebo sa niekam posiela?

Nie. Kontrola prebieha vo vašom prehliadači: text sa k nám neodosiela a neukladá sa. Odkaz na výsledok uchováva text v časti adresy za znakom #, ktorú prehliadače serverom neposielajú.

Aké texty môžem kontrolovať?

Články, produktové stránky, príspevky, úlohy, user stories a bug reporty v 12 jazykoch: angličtine, poľštine, češtine, slovenčine, chorvátčine, slovinčine, bulharčine, nemčine, francúzštine, taliančine, španielčine a holandčine, od 80 do 3 000 znakov.

Ako napísať dobrý bug report?

Uveďte, ako problém zopakovať: aké kroky, aká verzia, aké zariadenie a od akej hranice to začne zlyhávať. V štúdii 180 reprodukovateľných hlásení chýb v aplikáciách pre Android chýbal v 92,2 % aspoň 1 krok (Johnson a kol., 2022). „Export zlyháva pri objednávkach s viac ako 500 riadkami v Chrome 128“ vylučuje oveľa viac než „export niekedy zlyháva“. Vložte hlásenie do kontroly a uvidíte, ktoré vety neodpovedajú na žiadnu z týchto otázok.

Je Slopcheck detektor AI?

Nie. Slopcheck odhaduje, koľko text povie čitateľovi. Nehovorí, kto alebo čo ho napísal: generovaný text so skutočnými faktami môže dostať vysoké skóre a ručne písaný text bez nich nízke.

Čím sa líši od nástrojov, ktoré hľadajú stopy AI?

Nástroje, ktoré počítajú dlhé pomlčky, „delve“ alebo „tapestry“, sa pozerajú na povrch textu. Slopcheck sa pozerá na to, čo dostane čitateľ: text sa môže vyhnúť každej takej stope a aj tak neodpovedať na žiadnu otázku čitateľa.

Čo je pas textu?

Záznam jedného presného textu: jeho hash, informačný zisk, slop, verzia metódy a dátum kontroly, na stránke s vlastným odkazom. Kto má text, môže ho tam vložiť a zistiť, či sa zhoduje: ak sa líši čo i len v 1 znaku, líši sa aj hash. Každá úprava sa uloží ako nová verzia s vlastným skóre.

Potrebujem na používanie API plugin alebo SDK?

Nie. V tarife Tím je kontrola jedna HTTP požiadavka s textom. Zmestí sa do kroku CI, do hooku pred zverejnením v CMS alebo do poľa vo vašom systéme na správu úloh.

Zdroje

1. C. E. Shannon (1948). A Mathematical Theory of Communication. Bell System Technical Journal
2. C. E. Shannon, W. Weaver (1949). The Mathematical Theory of Communication. University of Illinois Press
3. Google LLC (2022). Contextual estimation of link information gain. Patent USA 11,354,342 B2
4. Google Search Central. Creating helpful, reliable, people-first content
5. R. Carnap, Y. Bar-Hillel (1952). An Outline of a Theory of Semantic Information. MIT Research Laboratory of Electronics
6. S. Sequoiah-Grayson, L. Floridi. Semantic Conceptions of Information. Stanford Encyclopedia of Philosophy
7. R. A. Howard (1966). Information Value Theory. IEEE Transactions on Systems Science and Cybernetics
8. H. P. Grice (1975). Logic and Conversation; maximy sú zhrnuté v hesle „Implicature“, Stanford Encyclopedia of Philosophy
9. J. Johnson a kol. (2022). An Empirical Investigation into the Reproduction of Bug Reports for Android Apps. SANER 2022, oddiel IV-C
10. Apache Software Foundation. Jira, systém na sledovanie úloh, verejné hlásenia chýb a úlohy 2022–2026
11. Mozilla. Bugzilla, verejné hlásenia chýb 2023–2025
12. L. Dugan a kol. (2024). „RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors“. ACL 2024