Ho dato al mio LLM locale l'accesso ai miei file personali e ho sostituito tre app in abbonamento
Gli strumenti di programmazione basati su AI sono davvero utili, ma gli abbonamenti si accumulano rapidamente. Se ne usi più di uno alla volta, stai spendendo un sacco di soldi per strumenti che potresti anche non usare ogni giorno. Eseguire modelli localmente elimina tutto questo una volta pagato l'hardware, e ti sbaglieresti se pensassi che i LLM locali non siano abbastanza buoni da non rinunciare a molto nel fare il passaggio.
Gli strumenti di intelligenza artificiale premium sono fantastici finché non arrivano le bollette
Gli abbonamenti per gli assistenti di codifica sono una pesante tassa mensile che si accumula rapidamente
Gli strumenti AI premium hanno cambiato il modo in cui le persone scrivono codice, ma i costi aumentano rapidamente. Servizi come Gemini, Claude e ChatGPT Plus costano ciascuno circa 20$al mese, e se ne usi più di uno, è una fetta notevole del tuo budget che scompare ogni mese. Anche i servizi cloud addebitano in base al milione di token, quindi se sperimenti molto o esegui sessioni lunghe, le bollette diventano rapidamente ingestibili.
Dopo un po', mi sono stancato di vedere accumularsi quei costi per strumenti che non usavo nemmeno ogni giorno. È allora che ho iniziato a pensare di far girare modelli locali invece. Una volta che possiedi l'hardware, non ci sono costi per i token, nessuna bolletta mensile e nessun limite di utilizzo.
È possibile spendere un po' in anticipo per una macchina decente, ma in realtà non è necessario. Io uso una macchina da 200 $, e alla fine si è ripagata più velocemente di quanto la maggior parte delle persone si aspetti. Ho risparmiato una buona somma nell'ultimo anno semplicemente smettendo di pagare abbonamenti che pagavo per abitudine.
Non pago per gli strumenti di intelligenza artificiale perché l'IA locale ha raggiunto un punto tale per cui non si sacrifica più realmente la qualità. Strumenti come Ollama e LM Studio rendono semplice gestire ed eseguire modelli sul proprio computer.
La comunità open-source ha pubblicato modelli come Qwen3-Coder e Llama 3 che gestiscono il ragionamento complesso e l'analisi del codice abbastanza bene da sostituire gran parte di ciò per cui stavo pagando. I tuoi dati rimangono sul tuo hardware, nulla viene inviato a un server cloud, e non sei bloccato se un'azienda cambia i suoi prezzi o elimina una funzionalità di cui hai bisogno.
Risparmieresti e guadagneresti molto più di quanto pensi
Tutte queste iscrizioni sono sparite
Eseguire un modello locale ti fa risparmiare denaro più velocemente di quanto la maggior parte delle persone si aspetti. Il punto di partenza più ovvio è sostituire un chatbot a uso generale come ChatGPT Plus e Claude, che costano 20 dollari al mese ciascuno.
Strumenti come LM Studio, Ollama o GPT4All ti permettono tutti di eseguire modelli open-source capaci come Llama 3, Mistral o Qwen sul tuo hardware gratuitamente. Quella sola sostituzione mi restituisce 480 dollari ogni anno, e questo prima ancora di iniziare a sostituire gli strumenti di nicchia più costosi. Ho usato un computer di riserva come server per eseguire modelli più pesanti, quindi in realtà non è costato nulla.
Gli assistenti alla scrittura come Grammarly sono dove i costi sfuggono rapidamente di mano. Grammarly cerca troppo di spingere il suo Premium, e l'IA di solito fa sembrare gli aggiustamenti innaturali. Grammarly addebita circa 144 dollari all'anno, e sono stato contento di liberarmene.
Ho sempre avuto problemi casuali di connessione a internet che si verificavano solo a causa dei loro server. Puoi sostituire tutto questo eseguendo un piccolo modello locale come Phi-3.5 Mini di Microsoft o Llama 3.2 di Meta direttamente sul tuo desktop.
Poiché tutto funziona localmente, puoi lavorare sullo stesso paragrafo quante volte vuoi senza incontrare limiti o pagare per un altro mese. Nel frattempo, ottieni i controlli grammaticali che desideri veramente. Grammarly è peggiorato recentemente e, ora che ha concorrenza gratuita, non c'è motivo di continuare a usarlo.
La cosa migliore è che, quando il tuo editor richiede suggerimenti sul codice o l'analisi dei file, la richiesta non lascia mai la tua macchina. Non ci sono limiti di utilizzo e non devo aspettare che un'azienda decida a quali funzionalità posso accedere e a quale livello di prezzo. Poiché questo tipo di lavoro richiede le mie informazioni personali, preferisco sempre usare il mio sistema. GPT4All potrebbe mancare di alcune funzionalità avanzate per grandi team, ma la sua interfaccia e l'API locale lo rendono il modo perfetto per capire se fa al caso tuo.
Qwen e GPT4All sono tutto ciò di cui hai bisogno
Puoi collegare modelli locali al tuo editor di codice con pochi clic
Non serve una laurea in informatica per usare l'AI in locale. Ho scelto GPT4All perché viene fornito con un'interfaccia user-friendly e non è così restrittivo come LM Studio. Puoi scaricare il software e cercare un modello per iniziare l'installazione. Per prima cosa, scarica GPT4All e vai al Model Hub dove puoi esplorare e scaricare modelli open-source all'interno del programma. Ho usato questo per trovare il modello Qwen2.5-Coder-3B.
Puoi trovare questo modello nella libreria GPT4All. Non è necessario gestire i file manualmente, poiché basta cliccare su scarica per la versione che si adatta al tuo sistema. Qwen è una famiglia di modelli capace, e la versione 3B è abbastanza piccola da caricarsi rapidamente pur rimanendo intelligente.
Una volta scaricato, basta selezionarlo dalla tua lista di modelli. Se il tuo computer non è dei più potenti, dovresti spegnere tutto il resto. Noterai che le cose rallentano, ed è per questo che ho configurato un server personale. Preferisco dedicare un PC extra a questo piuttosto che affrontare il lag sulla mia macchina principale. Dopo aver caricato il tuo modello in una chat, vai nelle impostazioni e poi scegli Modello.
Scorri verso il basso fino a trovare Lunghezza Massima. Cambialo in '4096', o di più se il tuo PC può permettersi di cedere altra RAM.
Risparmia un po' di soldi e usa il tuo equipaggiamento al limite
Il costo iniziale del passaggio a modelli locali è inferiore a quanto la maggior parte delle persone si aspetta, e i risparmi mensili si vedono immediatamente. Non devi preoccuparti di limiti di utilizzo, cambiamenti di prezzo o del fatto che i tuoi dati vengano inviati in posti che non puoi controllare. GPT4All è un punto di partenza ragionevole se vuoi testare questo senza impegnarti in nulla di complicato. Una volta che hai un modello funzionante localmente e collegato al tuo editor di codice, è difficile giustificare tornare a pagare per la stessa cosa ogni mese.