Un token viene spesso descritto come rappresentante circa tre quarti di una parola. Pertanto, dare a un LLM un testo di 10.000 parole da esaminare equivarrebbe a 12.000-13.000 token di contenuto. In termini di sviluppatore, se un corpo di codice che Copilot dovesse esaminare (ad esempio per il refactoring o la ricerca di bug), composto da 10.000 “parole” (espressioni, istruzioni, nomi di variabili, funzioni e così via), utilizzarlo in una query, una volta, conterebbe come 12.000-13.000 token fuori dalla loro assegnazione per il mese.
Verrà conteggiato anche il testo della richiesta come input, così come gli output di Copilot.
I livelli di prezzo che entreranno in vigore il mese prossimo rimangono ancorati ai livelli attuali, ma invece di ricevere un numero di query al mese, agli utenti vengono assegnati “crediti AI” per lo stesso valore. Un abbonato Copilot Pro di livello base ($ 10pcm) riceverà 1.000 crediti, con GitHub che afferma che attualmente un credito AI vale un centesimo di dollaro.
Il numero di token acquistati da ciascun credito dipenderà dal modello utilizzato, dal mix input/output, dalla dimensione della cache (dati conservati nella memoria LLM per il contesto) e dalla funzionalità richiesta. Pertanto, se uno sviluppatore utilizza query per lo più semplici, è probabile che non debba acquistare token aggiuntivi sotto forma di crediti ogni mese. Al contrario, le query multi-agente su una codebase complessa e lunga svuoteranno più rapidamente l’account AI Credit. Le interrogazioni rivolte ai modelli di frontiera più avanzati costeranno di più rispetto a quelle meno potenti.
Le modifiche ai prezzi di GitHub includono alcuni vantaggi compensativi per gli utenti: i completamenti del codice (simile alla funzione di completamento automatico di un telefono) e i suggerimenti di modifica successiva rimarranno gratuiti.
Fonte: www.artificialintelligence-news.com
