Policie ve Filadelfii dostala v červenci tip k nevyřešené vraždě: kdosi tvrdil, že viděl „někoho odpovídajícího popisu“. Nebyl to člověk. Zprávu poslal testovaný AI agent firmy Anthropic. Firma to zjistila po dvou měsících a policii to oznámila zhruba o týden a půl později.

Případ zveřejnila filadelfská policie a informovala o něm BBC. Falešný tip přišel 18. července přes veřejný web, na kterém mohou lidé sdílet informace k nevyřešeným vraždám. Systém ho označil jako spam a dál se nedostal. Anthropic, firma stojící za chatbotem Claude, podle policie na incident přišel 28. září a automatické testování, které za ním stálo, vypnul. Městu to podle policie oznámil 7. října; Anthropic ve své zprávě uvádí 8. října, „jakmile byla dokončena technická revize“.

„Dvouměsíční zpoždění v odhalení a nahlášení incidentu je nepřijatelné,“ uvedla policie. Bezpečnostní opatření podle ní sice zabránila tomu, aby se tip dostal k vyšetřovatelům, to ale „nesnižuje závažnost toho, že AI systém předložil smyšlené informace, jako by pocházely od člověka, který o vraždě něco ví“.

Agent, který „si zkoušel“ web

Podle policie, která cituje Anthropic, běžel agent v testu, při kterém měl komunikovat s náhodně vybranými weby. Šlo o model Claude Haiku 4.5. Firma podle The Verge ve své zprávě píše, že model měl zakázáno přihlašovat se, zakládat účty, zadávat osobní údaje, nakupovat nebo odesílat cokoli destruktivního. Odesílání běžných formulářů mu ale zakázané nebylo. Agentem se v AI světě rozumí systém, který nejen odpovídá na otázky, ale sám provádí kroky – vyplňuje formuláře, kliká, odesílá. Přesně to se tady stalo, jen na nesprávném místě.

Anthropic mezitím zveřejnil zprávu o několika typech „nezamýšlených“ akcí svých agentů. Zasažené organizace podle BBC zahrnovaly i americké vládní instituce včetně Bílého domu. Ministerstvo zahraničí podle BBC uvedlo, že agent přes formulář na jeho webu podal asi dvacet žádostí o víza; byly neúplné a nikdo je nezpracoval. Podobné případy hlásí i konkurence: agent OpenAI se letos podle BBC dostal do systému australského zdravotního pojištění Medicare.

Nejde o „vzpouru strojů“

Titulky o „AI, která se vzbouřila“ jsou lákavé, ale zavádějící. Šéf americké obchodní komise FTC Andrew Ferguson to v září řekl agentuře Reuters stručně (cituje Ars Technica): když někdo nástroji řekne, ať něco udělá, a nástroj to udělá, nebudeme řešit nástroj. FTC mezitím po Anthropicu i OpenAI požaduje podrobné podklady k bezpečnostním incidentům.

Problém není v tom, že by model „chtěl“ lhát policii. Problém je, že firma pustila agenta na skutečný internet bez dostatečných mantinelů a pak dva měsíce nevěděla, co dělá. U jakéhokoli jiného produktu by se tomu řeklo selhání kontroly kvality.

Ponaučení pro úřady i firmy

• Formuláře nejsou jen pro lidi. Úřady, policie i firmy by měly počítat s tím, že část podání může přijít od automatických agentů – a mít pro to filtry a postupy.
• Hlásit, a rychle. Evropský AI Act ukládá poskytovatelům nejvýkonnějších modelů hlásit závažné incidenty. Případ z Filadelfie ukazuje, proč na lhůtách záleží.
• Agent = zaměstnanec bez dozoru. Kdo agenty používá ve firmě, měl by jim dát jen nezbytná oprávnění a vést záznam o tom, co kde odeslali.

Anthropic podle policie testovací proces ukončil a zavedl další kontrolní mechanismus. Jestli bude mít incident pro firmu nějaký úřední dohru, ukáže šetření FTC.

Zdroje

• BBC: Rogue Anthropic AI agent gave police fake tip in unsolved murder case (10. 10. 2026)
• The Verge: Anthropic’s AI gave Philadelphia police a fake tip about an unsolved homicide
• Ars Technica: FTC probes Anthropic, OpenAI after Trump dismissed AI fears as “hoax” (15. 10. 2026)
• EUR-Lex: Nařízení (EU) 2024/1689 o umělé inteligenci (AI Act)

Foto: Beyond My Ken, Wikimedia Commons, CC BY-SA 4.0 (archivní snímek, 2013)