Ho messo un LLM locale sul mio telefono e ho smesso di aver bisogno dell'IA in cloud per la maggior parte dei compiti

Uno dei problemi principali con i chatbot AI è che devi essere online tutto il tempo. Gli strumenti AI basati sul cloud sono meravigliosi quando sei online, ma nel momento in cui esci dalla copertura, sei fregato.

A meno che, ovviamente, tu non abbia un LLM locale offline che non richieda una connessione internet attiva. Gli LLM locali sono un ottimo modo per continuare a usare l'intelligenza artificiale senza internet, per non parlare di un enorme aumento della privacy.

Una delle principali idee sbagliate sui LLM locali è che sia necessario un hardware super potente per far funzionare qualsiasi cosa. Non è vero. In realtà puoi far funzionare un LLM locale sul tuo smartphone e, ancor meglio, è davvero incredibilmente utile.

In realtà ho provato diverse app quando si tratta di utilizzare LLM locali sul mio smartphone, e queste sono le migliori opzioni.

Perché usare comunque un'IA locale sul tuo smartphone?

Lascia la nuvola dietro di te

Ci sono alcune ragioni per cui vale la pena usare un LLM locale sul tuo smartphone; l'importanza dipenderà davvero da come vedi la tecnologia.

Per me, è una combinazione di privacy e comodità. Per quanto non voglia ammettere a me stesso quanto l'IA sia diventata parte della mia routine quotidiana, il fatto è che lo è. Più di ogni altra cosa, ho sostituito una grande quantità delle ricerche Google che facevo quotidianamente con una conversazione approfondita con l'IA.

Quindi, mantenere tutto funzionante quando mi trovo in situazioni senza accesso a internet è importante per me. Vivo nelle regioni più remote della Cornovaglia, praticamente il punto più a ovest del Regno Unito. Ci sono molti posti qui dove la connettività 5G e 4G normale non arriva, per non parlare quando viaggio in treno (segnale irregolare) o viaggio in aereo (nessun segnale o Wi-Fi di bordo ultra costoso).

La privacy è il prossimo grande punto a favore per me. Ormai, la maggior parte delle persone capisce che qualsiasi cosa tu dica a un chatbot AI basato sul cloud viene raccolta, proprio come avveniva con le tue ricerche su Google. Viene reinserita nel sistema per migliorare l'AI, il che è fantastico, ma questo significa che dovresti essere giudizioso su ciò che chiedi, dici e opinioni.

Quando digiti un prompt in un'AI basata su cloud, quel testo viene memorizzato su un server che non controlli. Ma se passi a un'AI locale? Le tue domande mediche, informazioni finanziarie, documenti legali e qualsiasi altra informazione privata rimangono sul tuo dispositivo.

Infine, il costo. Mentre puoi usare la maggior parte dei chatbot AI più popolari gratuitamente senza problemi, spesso incontrerai delle limitazioni. Le aziende di AI vogliono sempre che tu faccia l'upgrade al livello successivo per sbloccare limiti più alti, gli ultimi modelli e così via. Ma un modello AI locale significa nessuna quota di abbonamento, il che significa 20 dollari extra in tasca ogni mese.

Ora, ho provato alcune opzioni diverse per eseguire un'intelligenza artificiale locale sul tuo smartphone, e ci sono un paio di app che fanno il lavoro meglio della maggior parte.

Nota: Non stai eseguendo l'intero modello di IA sul tuo telefono. Stai eseguendo ciò che è noto come un modello quantizzato, che è comunque molto potente ma non distruggerà il tuo smartphone con un solo prompt!

Galleria Edge di Google AI

Perfetto per correre Gemma

Uno dei modi migliori per utilizzare l'IA locale sul tuo smartphone è attraverso la AI Edge Gallery di Google, disponibile sia per dispositivi Android che iOS.

In termini di implementazione e facilità d'uso, AI Edge Gallery è sicuramente tra i migliori, con ogni opzione presentata e spiegata in modo semplice. I modelli AI sono facili da scaricare e elencati in ordine di ciò che più si adatta al tuo dispositivo, e l'app spiega le capacità di ogni modello sotto un'etichetta come Ask Image o AI Chat.

La Galleria AI Edge è fantastica perché ti offre l'accesso a Gemma 4 senza bisogno di un account, l'ultimo e migliore modello di intelligenza artificiale di Google. Quindi, ad esempio, potresti aprire la Galleria AI Edge, selezionare AI Chat, quindi scaricare Gemma-4-E2B-it, che supporta input multi-modello (cioè voce, immagini, testo, ecc.).

In pochi minuti, a seconda delle tue velocità di download, puoi avere una chat completamente offline con un'IA sul tuo smartphone.

Oltre alla chat di base, l'app include le Competenze degli Agenti per aumentare i modelli con strumenti come Wikipedia e mappe interattive, un Laboratorio dei Prompt per il controllo dei parametri in modo dettagliato, Audio Scribe per la trascrizione sul dispositivo e Ask Image per query visive multimodali. Ah, e non dimentichiamo Tiny Garden, che è un gioco di giardinaggio che si controlla tramite prompt di testo e voce, ed è un piccolo divertente sguardo a ciò che si può fare con l'IA.

Il mio unico vero problema con AI Edge Gallery è che, al momento della scrittura, non c'è memoria della chat. Una volta chiusa una conversazione, questa scompare. Questa è un'app potente per l'AI locale sul tuo smartphone, ma è un grosso problema per chi utilizza regolarmente prompt per l'AI.

Chat MNN

Eccellente per modelli più piccoli

La seconda app che porta l'IA locale sul tuo smartphone è MNN Chat, un'app open-source che rende davvero facile utilizzare modelli di IA più piccoli sul tuo dispositivo. MNN Chat è più adatta a smartphone al di fuori delle gamme "flagship", concentrandosi maggiormente su modelli di IA con un'impronta più piccola, come la famiglia Qwen.

Tuttavia, non lasciare che questo ti scoraggi dal provare, poiché i modelli AI Qwen sono ancora eccellenti per la maggior parte dei compiti e un ottimo punto di partenza per chi si avvicina per la prima volta ai dispositivi AI locali (sia su uno smartphone che su altri hardware).

Tuttavia, non sei limitato solo a Qwen. Puoi usare i menu di MNN Chat per scegliere tra Thinking, Vision, Audio, AudioGen e altri tipi di modelli, così come passare da un repository di modelli AI all'altro come HuggingFace, ModelScope e Modelers.

Ma mentre MNN Chat sicuramente sembra destinato a persone leggermente più esperte, è comunque molto semplice da usare. Trovi un modello di intelligenza artificiale, premi scarica, poi inizi a chattare. E ancora più importante, ha una cronologia delle chat, così puoi tornare alla tua conversazione e continuare.

Se non sei sicuro, potresti usare lo strumento di benchmarking integrato di MNN Chat, che ti dà un'idea di come il modello funzionerà sul tuo dispositivo. Valori più alti di token di precompilazione e decodifica per secondo indicano una migliore prestazione del modello testato.

I modelli di intelligenza artificiale locali hanno bisogno di hardware — e di spazio di archiviazione

Naturalmente, l'intelligenza artificiale locale sul tuo smartphone non è senza compromessi. Ho testato questi modelli usando un Honor Magic V5 e un Nothing Phone 3. Questi telefoni hanno capacità diverse ma si sono comportati bene, anche se entrambi sono stati lanciati nel 2025.

I dispositivi più vecchi con hardware meno potente potrebbero avere più difficoltà. Se stai usando un dispositivo più vecchio, MNN Chat è probabilmente l'opzione migliore per un'AI locale sullo smartphone, poiché ha un elenco completo di modelli AI più leggeri. Dovresti riuscire a trovare qualcosa che bilanci potenza e durata della batteria; usa il suo strumento di benchmarking per capire se il tuo dispositivo è all'altezza della sfida.

Lo spazio di archiviazione è un altro aspetto da considerare. I modelli stessi occupano molto spazio di archiviazione: un singolo modello performante può richiedere da 1 GB a oltre 4 GB, quindi se il tuo telefono ha già poco spazio disponibile, dovrai tenerne conto prima di scaricarlo.

La buona notizia è che i modelli quantizzati rendono più facile che mai eseguire l'IA locale sul tuo smartphone, e sia Google AI Edge Gallery che MNN Chat sono progettati appositamente con questo in mente.