L'importanza di forzare un LLM a scandire un repositorio remoto
Sarebbe oltremodo importante che l'LLM potesse analizzare il repositorio in oggetto, in modo da avere l'esatto elenco dei file realmente presenti e potere fornire quindi le istruzioni corrette.
Sarà capitato a molti, e spesso, di chiedere a un LLM - come Copilot, ChatGPT, Gemini, LeChat e via dicendo - di fornire le istruzioni passo passo per installare e usare un'applicazione open source disponibile su siti come GitHub.
E certo sarà stata esperienza molto comune, e frustrante, trovarsi istruzioni che fanno riferimento a file plausibili, ma in realtà non presenti nel repositorio; con la conseguenza di non poter concludere nulla. Un po' come se, acquistando un mobile presso una catena del fai-da-te, il manuale di montaggio facesse riferimento a pezzi non presenti nella confezione.
Questo accade perché non di rado le istruzioni e informazioni presenti nei vari repositori sono incomplete o non aggiornate. Per cui l'LLM o dà informazioni superate oppure deve cercare di "indovinare" i file d'uso statisticamente più probabili in quel contesto.
In effetti, almeno per siti come GitHub o HuggingFace, gli LLM possono già fare quest'analisi. Il fatto è che di norma non glielo si chiede esplicitamente. In inglese esiste un termine preciso per ordinare all'LLM di verificare con cura quello che c'è davvero in un repositorio, ed è fetch, in itaiano riporta.
Pertanto occorrerebbe, e basterebbe, integrare il prompt con una richiesta del tipo
fetch the repository at http://repository.xy
per fare in modo che le istruzioni fornite dall'LLM siano puntuali sulla realtà dei contenuti della directory, ed evitarsi frustrazioni e mal di testa.