Klient se oprávněně ptá, jak poznám, že kód od AI agentů dělá, co má. Odpovědí je můj postup: jak vypadá jeden úkol a co nechávám jen na sobě.
Jak vypadá jeden úkol
Začínám zadáním. Sepíšu, co má výsledek splňovat, a z toho plán rozdělený na malé úkoly, aby šel každý přečíst a posoudit za pár minut. Velkou dávku změn nikdo pořádně nezkontroluje, dá se jen odsouhlasit naslepo.
Jednotlivé úkoly programují AI agenti. Každý dostane svou část plánu, napíše kód a k němu automatické testy. Hotovou dávku pak čte další agent, který zná zadání, ale neviděl, jak kód vznikal, a po něm já. Oba ji porovnáváme se zadáním, ne s tím, co agent tvrdí, že udělal.
Každé rozhodnutí, které padne mimo plán, zapisuju do záznamu rozhodnutí: co jsem rozhodl, proč a co by to stálo, kdybych se mýlil. Jen u jedné změny v přehledu pro skupinu e-shopů (přepočet měn kurzem ke dni objednávky) takových rozhodnutí vzniklo dvacet. Bez záznamu by za týden nikdo nevěděl, proč kód vypadá jinak než plán, a agent by ho při dalším úkolu mohl „opravit“ zpátky.
Testy nestačí spustit. Když po opravě chyby test projde, nechám chybu dočasně vrátit a čekám, že test spadne. Teprve pak vím, že hlídá to, kvůli čemu vznikl.
Nový systém nasazuju vedle dosavadního postupu. Generátor objednávek pro výrobce běžel několik týdnů souběžně se starým řešením na skutečných datech, než přešel do ostrého provozu.
Pracuju s vlastními návody na opakované postupy a s automatickými pojistkami. Jedna z nich například agentovi nedovolí uložit změny do historie kódu, dokud to výslovně nepovolím.
Co nechávám jen na sobě
Na sobě nechávám návrh systému a jeho dat, bezpečnost, rozhodnutí o rozsahu, závěrečnou kontrolu a komunikaci s klientem. Agent nesmí začlenit kód bez testů a kontroly, sahat na ostrý provoz bez mého výslovného souhlasu, vidět data klienta jinde, než kde k tomu klient dal souhlas, ani rozhodovat za mě.
Ke všemu, co postavím, píšu testy a dokumentaci, takže to může kdykoli převzít jiný vývojář.