Perché il mio chatbot AI continua a dimenticare il contesto durante la conversazione?

Sto usando Claude per scrivere documenti più lunghi, e funziona benissimo per i primi scambi, ma poi inizia a perdere traccia di quello che gli ho detto prima. Tipo, dico "ricordati che ho detto che lavoro nel marketing" e cinque messaggi dopo mi dà consigli per ingegneri software. È una limitazione nota o sto facendo qualcosa di sbagliato con come sto formulando le domande?

2 risposte

★ Miglior risposta

Mi è capitato esattamente la stessa cosa quando ho provato a farmi aiutare con progetti più lunghi. Il problema è che questi modelli hanno una finestra di contesto - praticamente un limite a quanta conversazione riescono effettivamente a "vedere" in una volta. Pensaci come a una memoria a breve termine che tiene solo gli ultimi N messaggi o token. Una volta che superi quel limite, le cose precedenti spariscono dalla vista, anche se le richiami. Quindi sì, non è che stai sbagliando qualcosa con i tuoi prompt - è una vera e propria limitazione di come funziona il sistema.

Il trucco è continuare a ricordare al modello i dettagli chiave mentre procedi. Se il contesto di marketing è importante, reinseriscilo nei tuoi prompt ogni pochi messaggi invece di dare per scontato che se ne ricordi. Tipo "Ricorda, lavoro nel marketing, quindi..." aiuta ad ancorarla di nuovo a quello che importa per la tua domanda. Alcuni trovano anche utile essere davvero espliciti sui vincoli all'inizio - mettere tutto il contesto chiave in un unico prompt solido prima di iniziare a fare domande di follow-up, piuttosto che spargerlo su più scambi. È un po' fastidioso da gestire, ma di sicuro riduce la confusione.

Per documenti molto lunghi, un'altra opzione è suddividere il lavoro in parti e gestire ogni sezione in una conversazione separata, oppure incollare un riassunto dei tuoi requisiti all'inizio di ogni nuovo blocco di domande. Non è perfetto, ma è meglio che vederla andare fuori strada in consigli irrilevanti a metà strada.

Non dare per scontato che stai facendo qualcosa di sbagliato - è davvero così che funzionano questi sistemi, anche se la risposta precedente sulle finestre di contesto non è il quadro completo. Il modello tecnicamente riesce a "vedere" l'intera conversazione, ma non dà lo stesso peso ai messaggi precedenti come fa con quelli recenti, quindi i dettagli più vecchi tipo "lavoro nel marketing" vengono gradualmente deprioritizzati man mano che la conversazione cresce. La soluzione migliore è essere espliciti e ripetitivi: ricorda i dettagli chiave nei tuoi prompt veri e propri invece di fare affidamento su loro di essere ricordati ("Ricorda, sto scrivendo questo per un pubblico di marketing, quindi..."), oppure dividi i progetti più lunghi in conversazioni separate dove ognuna inizia da capo con il contesto completo. Alcune persone trovano utile anche incollare un breve riassunto di quello che hai affrontato finora ogni volta che passi a una nuova fase del lavoro.

La tua risposta

Accediper rispondere.