AI poznatky/Rizika/02

AI si občas vymýšlí — a zní přitom naprosto přesvědčivě.

Vysoké riziko Riziko 02 ze 7 čtení ~4 min

AI nikdy neřekne „nevím“. Když odpověď nezná, vymyslí si něco, co zní věrohodně — číslo, normu, paragraf. Vymyšlený údaj vypadá úplně stejně jako pravý.

Odborně se tomu říká „halucinace“, ale stačí si pamatovat tohle: AI je jako sebevědomý kolega, který se nikdy nepřizná, že něco neví. Odpoví vždy — plynule, s jistotou, a klidně úplně špatně. Nejnebezpečnější je to u čísel, cen, zákonů a technických norem.

Jak k tomu dojde — krok za krokem.

Mezera

AI odpověď nezná — v podkladech chybí, nebo se ptáte na něco příliš konkrétního.

Doplnění

Místo „nevím“ doplní věrohodně znějící údaj: normu ČSN, paragraf, cenu, termín. Věta vypadá kompletně.

Zdání pravdy

Vymyšlený údaj je gramaticky i formálně k nerozeznání od pravého. Rychlá kontrola očima ho nechytí.

Závazek

Dokument odejde ven — a z vymyšleného údaje je najednou písemný slib, kterým je firma vázaná.

Skutečný scénář

AI píše nabídku a sama doplní: „záruka 5 let dle normy ČSN EN 12345“. Norma zní přesně jako skutečné — jenže tohle číslo si AI vymyslela, aby věta vypadala úplně. Nabídka odejde nezkontrolovaná a firma je písemně zavázaná k něčemu, co nikdo neslíbil.

Srovnání

Tři způsoby používání AI — a jak se riziko mění.

Stejné riziko je jinak velké podle toho, kolik AI vidí a co smí dělat. Srovnání pro toto konkrétní riziko:

1 · Jen chat v prohlížeči
claude.ai / ChatGPT na webu

Píšete otázku, AI odpovídá textem. Nic ve vašem počítači nevidí a nic nemůže udělat sama.

Vysoké riziko

Čistý chat bez podkladů: AI se opírá jen o svou paměť — tady si vymýšlí nejvíc.

2 · AI propojená s nástroji
Claude s přístupem k poště, dokumentům, kalendáři · asistent v prohlížeči (Cowork)

AI vidí vaše firemní data a umí navrhovat akce — odeslat, vytvořit, přeposlat.

Střední riziko

Když AI čte vaše skutečné dokumenty, drží se jich mnohem víc. Pořád ale umí „dokreslit“ chybějící údaj — kontrola čísel zůstává.

3 · AI přímo v počítači
desktopová aplikace · terminál (Claude Code) · agenti

AI umí měnit soubory a spouštět úkony přímo ve vašem počítači — nejvíc síly, nejvíc odpovědnosti.

Střední riziko

Agent může vymyšlený údaj rovnou zapsat do souborů — a chyba se tiše rozkopíruje do dalších dokumentů.

Hranice automatizace

Co smí běžet samo — a co vždy odklepne člověk.

Automatizace šetří čas, ale hranici je potřeba narýsovat předem. Pro toto riziko platí:

Může běžet automaticky

  • Návrhy textů a konceptů (chybu odhalíte při čtení)
  • Interní shrnutí a zápisy
  • Brainstorming, hledání formulací

Vždy schvaluje člověk

  • Každé číslo, cena, termín v dokumentu, který jde ven
  • Citace zákonů, norem a paragrafů — vždy ověřit u zdroje
  • Smluvní závazky a záruky — posoudí člověk
  • Právní / daňové výstupy — vždy odborník

Jak se bránit.

Návyky, které toto riziko vypínají
Zapamatujte si

Sebejistota není správnost. AI mluví stejně přesvědčivě, když má pravdu, i když si vymýšlí.

Technická příloha

Chcete jít do hloubky?

Pro zvídavé — jak to funguje pod kapotou, doložené případy s čísly, nejčastější otázky a návod pro správce, jak pravidla vynutit technicky. Číst je nemusíte; pravidla výše platí i bez nich. Kliknutím otevřete.

PŘÍLOHA AProč AI neumí říct „nevím"

Jazykový model není databáze faktů. Je to systém, který předpovídá nejpravděpodobnější pokračování textu. Když se ptáte na něco, co bylo v jeho trénovacích datech tisíckrát, trefí se skoro vždy. Když na okrajovou věc, vyrobí text, který vypadá jako odpověď — protože přesně to umí: vyrábět pravděpodobný text.

Nemá vnitřní „kontrolku pravdy", proto neumí spolehlivě říct „nevím". A protože vymyšlený i pravdivý text vzniká stejným postupem, zvenku se ničím neliší — ani tónem, ani jistotou.

Nejúčinnější lék: dát AI vaše podklady (smlouvu, ceník, směrnici). Pak odpovídá z nich, ne z paměti — a můžete chtít doslovné citace míst, ze kterých čerpá.

PŘÍLOHA BAdvokáti s vymyšlenými rozsudky

Mata v. Avianca, New York 2023. Advokáti odevzdali soudu podání se šesti rozsudky, které si ChatGPT vymyslel — včetně čísel spisů. Soud je sankcionoval a případ se stal učebnicí; od té doby se po světě opakuje v desítkách variant.

Míra vymýšlení klesá, nula není. I nejlepší modely si u málo známých faktů, přesných čísel a citací občas vymýšlejí — výrobci to otevřeně přiznávají. Proto všechny firemní postupy (i ty naše) stojí na ověření, ne na důvěře.

Firemní matematika: kontrola čísel v nabídce = 2 minuty. Písemný závazek z vymyšleného čísla = reálné peníze. Návratnost té kontroly je nejvyšší ve firmě.

ZDROJE: MATA v. AVIANCA (S.D.N.Y. 2023) · DOKUMENTACE VÝROBCŮ K HALUCINACÍM

PŘÍLOHA C„Když uvede zdroj, je to ověřené?" a další otázky

Když AI uvede zdroj, je to ověřené?

Ne — i zdroj může být vymyšlený (viz advokáti výše). Klikněte a přesvědčte se, že existuje a říká to, co AI tvrdí.

Pomůže napsat „nevymýšlej si"?

Trochu. Ale je to jako říct kolegovi „nedělej chyby" — nespoléhejte na to.

Kde si AI vymýšlí nejvíc?

Přesná čísla, paragrafy a normy, málo známé osoby a produkty, čerstvé události. Tam ověřujte vždy.

Poznám vymyšlenou odpověď podle tónu?

Ne. Zní úplně stejně jistě jako pravdivá — to je celá pointa tohoto rizika.

PŘÍLOHA DVynucení: druhý pár očí a povinné zdroje

Pravidla fungují nejlíp, když je hlídá technika, ne síla vůle. Dva nástroje: role — každý typ uživatele má jiný rozsah AI — a bezpečnostní hák: automatická kontrola, která se spustí těsně před akcí AI, podívá se, na co AI sahá, a podle toho akci povolí, zablokuje, nebo si vyžádá schválení člověkem.

RoleCo smíPřed čím to chrání
ZákladGeneruje jen koncepty; nic neodesílá venVymyšlené číslo u zákazníka
Pokročilý+ AI s podklady (čte firemní dokumenty, ne paměť)Vymýšlení „z hlavy"
SprávceŠablony s povinným polem „zdroj čísla"; namátkové kontrolyTiché rozvolnění návyku
  • Hák „ven jen přes člověka": dokumenty pro zákazníky vznikají ve složce Koncepty; do pošty je přesune až schvalovatel. AI na odeslání nedosáhne, i kdyby chtěla.
  • Šablonový hák: šablona nabídky má povinné pole „odkud je číslo" — dokument bez vyplněného zdroje nejde označit jako hotový.