Štúdia Google pri patentových právnikoch: AI zlepšila výstup, no bez nej sa posun ukázal najmä u skúsenejších

Zdroj opisuje terénny experiment publikovaný v texte „Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting“. Autori randomizovali prístup k vtedy ešte nevydanému AI nástroju na písanie patentov od Google Labs medzi 133 právnikov v jedenástich kanceláriách. Dve tretiny právnikov v každej firme dostali skorý prístup k nástroju, zvyšok tvoril kontrolnú skupinu, ktorá mala školenie o AI, ale samotný nástroj počas trojmesačného obdobia používať nemohla.

Po 10 dňoch aj po 90 dňoch dostali účastníci podklady k hypotetickému vynálezu a mali pripraviť patentový návrh. Autori uvádzajú, že prístup k AI zvýšil skóre kvality písania po 10 dňoch o 0,34 smerodajnej odchýlky a po 90 dňoch o 0,38 smerodajnej odchýlky. Hodnotenie robili nezávislí právni experti na piatich dimenziách: vymáhateľnosť, presnosť, strategická nejednoznačnosť, úplnosť a zrozumiteľnosť. Text zároveň zdôrazňuje, že lepší výsledok pochádzal najmä z nižšej frekvencie slabých skóre a vyššej frekvencie dobrých skóre, nie z rastu počtu výnimočných hodnotení.

Na 90. deň pribudla ešte jedna úloha: redlining, teda ručné vyznačovanie a opravovanie chýb v už existujúcom hypotetickom patente. Pri tejto úlohe nebolo dovolené použiť AI, takže mala zachytiť neasistovaný profesionálny úsudok. Podľa autorov mali právnici s predchádzajúcim prístupom k AI v tejto úlohe náskok 0,32 smerodajnej odchýlky oproti kontrole, ale tento efekt bol „driven entirely by senior lawyers“. U seniorov bol rozdiel 0,45 SD, zatiaľ čo juniori podľa textu neukázali rozpoznateľné zlepšenie a ich výsledky sa skôr rozštiepili na viac silných aj viac slabých skóre.

Autori ponúkajú aj kvalitatívne vysvetlenie. Juniori podľa ich pozorovaní často postupovali rigidne od začiatku textu, veľa času venovali menej dôležitým častiam a pri vážnych chybách ich niekedy iba pomenovali v komentári namiesto toho, aby ich opravili. Seniorní právnici naopak opisovali AI skôr ako „logic auditor“: pomáhala im odpútať sa od existujúceho znenia a nútila ich formulovať dôvody štrukturálnych zásahov. Toto vysvetlenie je však interpretáciou autorov naviazanou na ich pozorovania, nie samostatne overeným mechanizmom platným všeobecne pre všetky profesie.

Samotný zdroj výslovne uvádza viacero obmedzení. Vzorka zahŕňa len patentových právnikov, ktorých sledovali počas troch mesiacov, čo je krátke obdobie vzhľadom na roky potrebné na budovanie trvácnej expertízy. Autori tiež upozorňujú, že rýchly pokrok modelov, rast základnej oboznámenosti s AI a širšie prenikanie AI nástrojov do právnej oblasti by mohli ovplyvniť výsledky, ak by sa pokus opakoval dnes. Z dodaného podkladu preto nemožno vyvodzovať dlhodobý alebo univerzálny efekt AI na profesijné učenie mimo tejto konkrétnej štúdie.