Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert

Als u grote taalmodellen (LLM's) lokaal op uw Android-telefoon uitvoert , hebt u toegang tot deze AI-modellen zonder dat u afhankelijk bent van cloudservers of een internetverbinding . Deze lokale configuratie waarborgt uw privacy doordat uw gegevens veilig op het apparaat blijven. Dankzij de vooruitgang in mobiele hardware is het mogelijk geworden om AI-modellen lokaal uit te voeren. Met de MLC Chat-app kunt u deze krachtige technologie eenvoudig op uw telefoon ervaren.

In dit artikel wordt uitgelegd waarom het belangrijk is om LLM lokaal uit te voeren op Android-telefoons. Ook vindt u stapsgewijze instructies voor het installeren en uitvoeren ervan via de MLC Chat-app.

Waarom LLM op een Android-telefoon volgen?

LLM's worden doorgaans op cloudservers uitgevoerd, omdat hiervoor veel computerkracht nodig is. Hoewel Android-telefoons bepaalde beperkingen hebben bij het uitvoeren van LLM, bieden ze ook een aantal interessante mogelijkheden.

  • Verbeterde privacy : Omdat al het computerwerk op uw telefoon plaatsvindt, blijven uw gegevens lokaal, wat belangrijk is voor gevoelige informatie die u deelt.
  • Offline toegang : Er is geen permanente internetverbinding vereist om toegang te krijgen tot deze modellen of ermee te communiceren. Dit is vooral handig voor gebruikers in afgelegen gebieden of die een beperkte internetverbinding hebben.
  • Kosteneffectief : het uitvoeren van LLM op cloudservers brengt operationele kosten met zich mee, zoals cloudopslag en verwerkingskracht. Deze methode biedt gebruikers een kosteneffectieve oplossing.

Stapsgewijze handleiding voor het installeren en uitvoeren van MLC Chat op Android

Met de MLC Chat-applicatie kunnen gebruikers grote taalmodellen (LLM's) lokaal op verschillende apparaten, waaronder mobiele telefoons, uitvoeren en ermee communiceren zonder afhankelijk te zijn van cloudgebaseerde services. Volg de onderstaande stappen om LLM lokaal op uw Android-apparaat uit te voeren.

Stap 1: MLC Chat-applicatie installeren

Download eerst de APK voor de MLC Chat-app (112 MB) via onderstaande link.

APK-bestand van de MLC Chat-applicatie

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Installeer de MLC Chat-app

Zodra de APK is gedownload, tikt u op het bestand om de installatie te starten.

Stap 2: Download LLM

Nadat u de app succesvol hebt geïnstalleerd, opent u de app. U ziet dan een lijst met LLM's die u kunt downloaden. Er zijn modellen van verschillende afmetingen en mogelijkheden beschikbaar, zoals de LLama-3.2, Phi-3.5 en Mistral. Selecteer het model dat u nodig hebt en klik op het downloadpictogram ernaast om het downloaden te starten. Als u bijvoorbeeld een telefoon uit het middensegment gebruikt, zoals de Redmi Note 10, kies dan voor een lichtgewicht model, zoals de Qwen-2.5, voor soepelere prestaties.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Download LLM

Stap 3: Voer de geïnstalleerde LLM uit

Zodra het model is gedownload, verschijnt er een chatpictogram naast. Klik op het pictogram om te beginnen met modelleren.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Voer de geïnstalleerde LLM uit

Zodra het model klaar is, kunt u beginnen met het typen van opdrachten en communiceren met de lokale LLM.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert

Op een apparaat als de Redmi Note 10 levert een kleiner model als Qwen2.5 bijvoorbeeld een behoorlijk vloeiende ervaring op, met een snelheid van ongeveer 1,4 tokens per seconde. Hoewel de prestaties trager zijn dan bij geavanceerde apparaten zoals de Galaxy S23 Ultra , werken deze nog steeds prima voor basistaken zoals korte chats en het maken van simpele content.

Door LLM lokaal op Android-apparaten uit te voeren via de MLC Chat-app, kunt u op een toegankelijke en privacybeschermende manier met AI-modellen communiceren. De prestaties zijn sterk afhankelijk van de hardware van de telefoon. Deze oplossing is ideaal voor gebruikers die offline toegang nodig hebben tot AI-modellen, LLM's in realtime willen testen of zich zorgen maken over hun privacy. Naarmate mobiele hardware blijft verbeteren, zullen de mogelijkheden van lokale LLM alleen maar toenemen. Dit is een spannend gebied voor AI-technologie.

Sign up and earn $1000 a day ⋙

Leave a Comment

7 eenvoudige manieren om je Samsung-telefoon er minder saai uit te laten zien

7 eenvoudige manieren om je Samsung-telefoon er minder saai uit te laten zien

Je dure Samsung Galaxy hoeft er niet precies hetzelfde uit te zien als elke andere telefoon op de markt. Met een paar kleine aanpassingen kun je hem persoonlijker, stijlvoller en unieker maken.

Waarom stappen zoveel mensen over naar Samsung nadat ze jarenlang een iPhone hebben gebruikt?

Waarom stappen zoveel mensen over naar Samsung nadat ze jarenlang een iPhone hebben gebruikt?

Nadat ze iOS beu waren, stapten ze uiteindelijk over op Samsung-telefoons en daar hebben ze geen spijt van.

DNS wijzigen op iPhone- en Android-telefoons

DNS wijzigen op iPhone- en Android-telefoons

Door DNS op uw iPhone of Android te wijzigen, behoudt u een stabiele verbinding, verhoogt u de netwerksnelheid en krijgt u toegang tot geblokkeerde websites.

Hoe je de ultragroothoekcamera van je telefoon op een bizarre manier geweldig maakt

Hoe je de ultragroothoekcamera van je telefoon op een bizarre manier geweldig maakt

Veel mensen hadden nooit verwacht dat de zwakste camera op hun telefoon een geheim wapen voor creatieve fotografie zou worden.

Top 11 Auto Click-apps voor Android zonder root

Top 11 Auto Click-apps voor Android zonder root

Met automatische kliktoepassingen hoeft u niet veel te doen tijdens het spelen van games, het gebruiken van apps of het uitvoeren van taken die beschikbaar zijn op het apparaat.

6 exclusieve Pixel-functies die u naar elke Android-telefoon kunt overzetten

6 exclusieve Pixel-functies die u naar elke Android-telefoon kunt overzetten

Afhankelijk van uw behoeften krijgt u waarschijnlijk een aantal exclusieve Pixel-functies op uw huidige Android-apparaat.

Hoe je 22 GB aan opslagruimte op je Samsung-telefoon terugkrijgt zonder belangrijke gegevens te verwijderen

Hoe je 22 GB aan opslagruimte op je Samsung-telefoon terugkrijgt zonder belangrijke gegevens te verwijderen

De oplossing houdt niet per se in dat u uw favoriete foto's of apps verwijdert; One UI bevat een paar opties waarmee u eenvoudig ruimte kunt vrijmaken.

10 apparaten die kunnen worden aangesloten op de oplaadpoort van een smartphone

10 apparaten die kunnen worden aangesloten op de oplaadpoort van een smartphone

De meesten van ons behandelen de oplaadpoort van onze smartphone alsof die alleen maar de batterij in leven houdt. Maar die kleine poort is veel krachtiger dan je zou denken.

11 tips die het delen waard zijn bij het maken van fotos met je telefoon

11 tips die het delen waard zijn bij het maken van fotos met je telefoon

Ben je het zat dat algemene tips nooit werken? Hier zijn een aantal tips die stilletjes de manier waarop je fotografeert hebben veranderd.

Hoe u eenvoudig smartphone-specificaties kunt lezen

Hoe u eenvoudig smartphone-specificaties kunt lezen

Als je op zoek bent naar een nieuwe smartphone, bekijk je natuurlijk eerst de specificaties. Die staan ​​boordevol informatie over prestaties, batterijduur en schermkwaliteit.

Hoe je Emojimix gebruikt om unieke emoticons te combineren

Hoe je Emojimix gebruikt om unieke emoticons te combineren

Met de Emojimix-applicatie creëert u unieke emoji's volgens uw wensen. Hierbij mengen we twee emoji's om een ​​emoji te maken die u nog nooit eerder hebt gezien.

Bent u verslaafd aan uw telefoon? Deze Samsung-instelling vertelt u het antwoord!

Bent u verslaafd aan uw telefoon? Deze Samsung-instelling vertelt u het antwoord!

Probeer Digitaal Welzijn op uw Samsung-telefoon en zie hoeveel tijd u gedurende de dag op uw telefoon doorbrengt!

10 apps voor het genereren van nepoproepen op Android

10 apps voor het genereren van nepoproepen op Android

Met een applicatie voor nepoproepen kunt u vanaf uw eigen telefoon oproepen plaatsen om ongemakkelijke en ongewenste situaties te voorkomen.

Hoe Locket Widget voor Android te gebruiken

Hoe Locket Widget voor Android te gebruiken

De nieuwe Locket Widget-app heeft een Android-versie, nadat iOS-gebruikers Locket Widget al op de iPhone konden gebruiken.

Eenvoudige truc om Apple TV te bedienen met elke Android-telefoon

Eenvoudige truc om Apple TV te bedienen met elke Android-telefoon

Ondanks het compacte ecosysteem van Apple hebben sommige mensen hun Android-telefoons omgebouwd tot betrouwbare afstandsbedieningen voor hun Apple TV.

7 eenvoudige manieren om je Samsung-telefoon er minder saai uit te laten zien

7 eenvoudige manieren om je Samsung-telefoon er minder saai uit te laten zien

Je dure Samsung Galaxy hoeft er niet precies hetzelfde uit te zien als elke andere telefoon op de markt. Met een paar kleine aanpassingen kun je hem persoonlijker, stijlvoller en unieker maken.

Waarom stappen zoveel mensen over naar Samsung nadat ze jarenlang een iPhone hebben gebruikt?

Waarom stappen zoveel mensen over naar Samsung nadat ze jarenlang een iPhone hebben gebruikt?

Nadat ze iOS beu waren, stapten ze uiteindelijk over op Samsung-telefoons en daar hebben ze geen spijt van.

Hoe u de inlogfout bij een Apple-account op internet kunt oplossen

Hoe u de inlogfout bij een Apple-account op internet kunt oplossen

Met de webinterface van je Apple-account in je browser kun je je persoonlijke gegevens bekijken, instellingen wijzigen, abonnementen beheren en meer. Maar soms kun je om verschillende redenen niet inloggen.

DNS wijzigen op iPhone- en Android-telefoons

DNS wijzigen op iPhone- en Android-telefoons

Door DNS op uw iPhone of Android te wijzigen, behoudt u een stabiele verbinding, verhoogt u de netwerksnelheid en krijgt u toegang tot geblokkeerde websites.

5 tips om Zoek mijn op de iPhone nauwkeuriger te maken

5 tips om Zoek mijn op de iPhone nauwkeuriger te maken

Wanneer Zoek Mijn onnauwkeurig of onbetrouwbaar wordt, kunt u een aantal aanpassingen doorvoeren om de functie nauwkeuriger te maken wanneer dat het meest nodig is.

Hoe je de ultragroothoekcamera van je telefoon op een bizarre manier geweldig maakt

Hoe je de ultragroothoekcamera van je telefoon op een bizarre manier geweldig maakt

Veel mensen hadden nooit verwacht dat de zwakste camera op hun telefoon een geheim wapen voor creatieve fotografie zou worden.

Hoe je NFC eenvoudig en snel op je iPhone kunt inschakelen

Hoe je NFC eenvoudig en snel op je iPhone kunt inschakelen

Near Field Communication (NFC) is een draadloze technologie waarmee apparaten gegevens kunnen uitwisselen wanneer ze zich dicht bij elkaar bevinden, meestal op enkele centimeters afstand.

Adaptief vermogen en laag vermogen: welke batterijbesparende modus van de iPhone moet u gebruiken?

Adaptief vermogen en laag vermogen: welke batterijbesparende modus van de iPhone moet u gebruiken?

Apple introduceerde Adaptive Power, dat samenwerkt met de energiebesparingsmodus. Beide verlengen de batterijduur van de iPhone, maar ze werken op heel verschillende manieren.

Top 11 Auto Click-apps voor Android zonder root

Top 11 Auto Click-apps voor Android zonder root

Met automatische kliktoepassingen hoeft u niet veel te doen tijdens het spelen van games, het gebruiken van apps of het uitvoeren van taken die beschikbaar zijn op het apparaat.

6 exclusieve Pixel-functies die u naar elke Android-telefoon kunt overzetten

6 exclusieve Pixel-functies die u naar elke Android-telefoon kunt overzetten

Afhankelijk van uw behoeften krijgt u waarschijnlijk een aantal exclusieve Pixel-functies op uw huidige Android-apparaat.

Hoe je 22 GB aan opslagruimte op je Samsung-telefoon terugkrijgt zonder belangrijke gegevens te verwijderen

Hoe je 22 GB aan opslagruimte op je Samsung-telefoon terugkrijgt zonder belangrijke gegevens te verwijderen

De oplossing houdt niet per se in dat u uw favoriete foto's of apps verwijdert; One UI bevat een paar opties waarmee u eenvoudig ruimte kunt vrijmaken.

10 apparaten die kunnen worden aangesloten op de oplaadpoort van een smartphone

10 apparaten die kunnen worden aangesloten op de oplaadpoort van een smartphone

De meesten van ons behandelen de oplaadpoort van onze smartphone alsof die alleen maar de batterij in leven houdt. Maar die kleine poort is veel krachtiger dan je zou denken.

11 tips die het delen waard zijn bij het maken van fotos met je telefoon

11 tips die het delen waard zijn bij het maken van fotos met je telefoon

Ben je het zat dat algemene tips nooit werken? Hier zijn een aantal tips die stilletjes de manier waarop je fotografeert hebben veranderd.

Hoe u eenvoudig smartphone-specificaties kunt lezen

Hoe u eenvoudig smartphone-specificaties kunt lezen

Als je op zoek bent naar een nieuwe smartphone, bekijk je natuurlijk eerst de specificaties. Die staan ​​boordevol informatie over prestaties, batterijduur en schermkwaliteit.

Instructies voor het bevestigen van vertrouwen in applicaties op de iPhone

Instructies voor het bevestigen van vertrouwen in applicaties op de iPhone

Wanneer je een applicatie van een andere bron op je iPhone installeert, moet je handmatig bevestigen dat de applicatie vertrouwd is. Vervolgens wordt de applicatie op je iPhone geïnstalleerd voor gebruik.