Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert

Als u grote taalmodellen (LLM's) lokaal op uw Android-telefoon uitvoert , hebt u toegang tot deze AI-modellen zonder dat u afhankelijk bent van cloudservers of een internetverbinding . Deze lokale configuratie waarborgt uw privacy doordat uw gegevens veilig op het apparaat blijven. Dankzij de vooruitgang in mobiele hardware is het mogelijk geworden om AI-modellen lokaal uit te voeren. Met de MLC Chat-app kunt u deze krachtige technologie eenvoudig op uw telefoon ervaren.

In dit artikel wordt uitgelegd waarom het belangrijk is om LLM lokaal uit te voeren op Android-telefoons. Ook vindt u stapsgewijze instructies voor het installeren en uitvoeren ervan via de MLC Chat-app.

Waarom LLM op een Android-telefoon volgen?

LLM's worden doorgaans op cloudservers uitgevoerd, omdat hiervoor veel computerkracht nodig is. Hoewel Android-telefoons bepaalde beperkingen hebben bij het uitvoeren van LLM, bieden ze ook een aantal interessante mogelijkheden.

  • Verbeterde privacy : Omdat al het computerwerk op uw telefoon plaatsvindt, blijven uw gegevens lokaal, wat belangrijk is voor gevoelige informatie die u deelt.
  • Offline toegang : Er is geen permanente internetverbinding vereist om toegang te krijgen tot deze modellen of ermee te communiceren. Dit is vooral handig voor gebruikers in afgelegen gebieden of die een beperkte internetverbinding hebben.
  • Kosteneffectief : het uitvoeren van LLM op cloudservers brengt operationele kosten met zich mee, zoals cloudopslag en verwerkingskracht. Deze methode biedt gebruikers een kosteneffectieve oplossing.

Stapsgewijze handleiding voor het installeren en uitvoeren van MLC Chat op Android

Met de MLC Chat-applicatie kunnen gebruikers grote taalmodellen (LLM's) lokaal op verschillende apparaten, waaronder mobiele telefoons, uitvoeren en ermee communiceren zonder afhankelijk te zijn van cloudgebaseerde services. Volg de onderstaande stappen om LLM lokaal op uw Android-apparaat uit te voeren.

Stap 1: MLC Chat-applicatie installeren

Download eerst de APK voor de MLC Chat-app (112 MB) via onderstaande link.

APK-bestand van de MLC Chat-applicatie

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Installeer de MLC Chat-app

Zodra de APK is gedownload, tikt u op het bestand om de installatie te starten.

Stap 2: Download LLM

Nadat u de app succesvol hebt geïnstalleerd, opent u de app. U ziet dan een lijst met LLM's die u kunt downloaden. Er zijn modellen van verschillende afmetingen en mogelijkheden beschikbaar, zoals de LLama-3.2, Phi-3.5 en Mistral. Selecteer het model dat u nodig hebt en klik op het downloadpictogram ernaast om het downloaden te starten. Als u bijvoorbeeld een telefoon uit het middensegment gebruikt, zoals de Redmi Note 10, kies dan voor een lichtgewicht model, zoals de Qwen-2.5, voor soepelere prestaties.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Download LLM

Stap 3: Voer de geïnstalleerde LLM uit

Zodra het model is gedownload, verschijnt er een chatpictogram naast. Klik op het pictogram om te beginnen met modelleren.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert
Voer de geïnstalleerde LLM uit

Zodra het model klaar is, kunt u beginnen met het typen van opdrachten en communiceren met de lokale LLM.

Hoe u LLM lokaal op een Android-telefoon installeert en uitvoert

Op een apparaat als de Redmi Note 10 levert een kleiner model als Qwen2.5 bijvoorbeeld een behoorlijk vloeiende ervaring op, met een snelheid van ongeveer 1,4 tokens per seconde. Hoewel de prestaties trager zijn dan bij geavanceerde apparaten zoals de Galaxy S23 Ultra , werken deze nog steeds prima voor basistaken zoals korte chats en het maken van simpele content.

Door LLM lokaal op Android-apparaten uit te voeren via de MLC Chat-app, kunt u op een toegankelijke en privacybeschermende manier met AI-modellen communiceren. De prestaties zijn sterk afhankelijk van de hardware van de telefoon. Deze oplossing is ideaal voor gebruikers die offline toegang nodig hebben tot AI-modellen, LLM's in realtime willen testen of zich zorgen maken over hun privacy. Naarmate mobiele hardware blijft verbeteren, zullen de mogelijkheden van lokale LLM alleen maar toenemen. Dit is een spannend gebied voor AI-technologie.

Sign up and earn $1000 a day ⋙

Leave a Comment

9 Android-toegankelijkheidsfuncties die elke gebruiker zou moeten proberen

9 Android-toegankelijkheidsfuncties die elke gebruiker zou moeten proberen

Hoewel de toegankelijkheidsfuncties van Android zijn ontworpen met specifieke behoeften in gedachten, zijn sommige ervan voor iedereen nuttig.

5 Android-functies voor naadloze multitasking

5 Android-functies voor naadloze multitasking

Soms kan het overweldigend zijn om meerdere apps op je telefoon te moeten gebruiken om dingen gedaan te krijgen. Gelukkig biedt Android een verscheidenheid aan functies die multitasking eenvoudig maken.

Hoe je het trileffect van toetsen op Android uitschakelt

Hoe je het trileffect van toetsen op Android uitschakelt

De meeste apps met een virtueel toetsenbord beschikken over een vibratiefeedbackfunctie (ook wel 'haptische feedback' genoemd) om typen op een touchscreen realistischer te maken.

Waarom zou je tegelijkertijd een iPhone en een Android-telefoon gebruiken?

Waarom zou je tegelijkertijd een iPhone en een Android-telefoon gebruiken?

Een iPhone en een Android-telefoon bieden samen zoveel voordelen dat het de moeite waard is om ze allebei mee te nemen.

Cookies inschakelen op een Android-telefoon

Cookies inschakelen op een Android-telefoon

Quantrimang legt uit hoe u cookies kunt inschakelen op Android-telefoons in zowel Google Chrome als Mozilla Firefox.

Hoe je snel de camera opent op Android-telefoons

Hoe je snel de camera opent op Android-telefoons

Fotografie is een geweldige manier om gedenkwaardige momenten in ons leven vast te leggen.

Hoe u de foutmelding Microfoon werkt niet op een Android-telefoon kunt oplossen

Hoe u de foutmelding Microfoon werkt niet op een Android-telefoon kunt oplossen

Hoewel problemen met de microfoon veel voorkomen op Android-apparaten, kunt u de volgende stappen voor probleemoplossing volgen om ze op te lossen.

8 Android-functies die je eerder had willen kennen

8 Android-functies die je eerder had willen kennen

Zelfs na tien jaar Android te hebben gebruikt, zijn er nog steeds verborgen functies die je doen afvragen: waarom wist ik hier niet eerder van? .

4 beste Android-opschoon-apps

4 beste Android-opschoon-apps

Quantrimang heeft een lijst samengesteld met de beste apps voor het opruimen van ongewenste bestanden op Android. Bekijk deze hieronder.

Hoe je wazige fotos op Android kunt herstellen

Hoe je wazige fotos op Android kunt herstellen

Laten we leren hoe je onscherpe foto's op Android-telefoons (deels) kunt corrigeren.

6 beste bestandsbeheerders voor Android TV

6 beste bestandsbeheerders voor Android TV

Elke Android TV-gebruiker moet om verschillende redenen een bestandsbeheerder installeren.

Hoe u kunt controleren welke apps het meeste RAM-geheugen gebruiken op Android

Hoe u kunt controleren welke apps het meeste RAM-geheugen gebruiken op Android

Als een applicatie te veel van het RAM-geheugen van het apparaat 'verbruikt', zal dit de multitasking-capaciteiten van het systeem ernstig beperken en bovendien vertraging veroorzaken, wat de ervaring ernstig beïnvloedt.

Hoe u uw eigen Android-mascotte maakt

Hoe u uw eigen Android-mascotte maakt

Nu kunt u uw eigen versie van een Android-mascotte maken, genaamd The Bot. Door materialen, kleding, accessoires en rekwisieten te kiezen, kunt u The Bot naar eigen wens aanpassen.

Hoe gebruik je FaceTime op Android?

Hoe gebruik je FaceTime op Android?

Eindelijk staat Apple gebruikers van Android-apparaten toe FaceTime te gebruiken.

Veel plezier met deze 6 stemveranderende apps op Android

Veel plezier met deze 6 stemveranderende apps op Android

Heb je ooit je vrienden willen voor de gek houden met een gek stemmetje? Dankzij sommige smartphone-apps heb je daarvoor geen omvangrijke computersoftware meer nodig.

Apple stopt met iPhone 15 Pro, iPhone 15 Pro Max en iPhone 13

Apple stopt met iPhone 15 Pro, iPhone 15 Pro Max en iPhone 13

Apple stopt met de productie van de iPhone 15 Pro en Pro Max, samen met de iPhone 13, omdat de iPhone 16-serie zojuist is gelanceerd

9 Android-toegankelijkheidsfuncties die elke gebruiker zou moeten proberen

9 Android-toegankelijkheidsfuncties die elke gebruiker zou moeten proberen

Hoewel de toegankelijkheidsfuncties van Android zijn ontworpen met specifieke behoeften in gedachten, zijn sommige ervan voor iedereen nuttig.

De gemakkelijkste manier om een ​​screenshot te maken op de iPhone, voor alle iPhone-modellen

De gemakkelijkste manier om een ​​screenshot te maken op de iPhone, voor alle iPhone-modellen

Hoe maak je een screenshot op de iPhone op alle versies van iPhone 5, 5s, 6, 6s, 7, 7 Plus, 8/8 Plus tot iPhone X, Xr, Xs, iPhone 11, iPhone 12.

Gemini gebruiken op de iPhone

Gemini gebruiken op de iPhone

Google Gemini is officieel beschikbaar op iPhone-gebruikers, die het kunnen downloaden en uitproberen. De interface en functies van Gemini op de iPhone zijn vergelijkbaar met de Gemini-versie op Android.

5 Android-functies voor naadloze multitasking

5 Android-functies voor naadloze multitasking

Soms kan het overweldigend zijn om meerdere apps op je telefoon te moeten gebruiken om dingen gedaan te krijgen. Gelukkig biedt Android een verscheidenheid aan functies die multitasking eenvoudig maken.

Hoe je Android naar de nieuwste versie kunt updaten

Hoe je Android naar de nieuwste versie kunt updaten

Door Android bij te werken naar de nieuwste versie kunt u op uw telefoon gebruikmaken van de nieuwe functies van het besturingssysteem, met name upgrades voor de beveiliging van het systeem.

Instructies voor 4 manieren om contacten op de iPhone te verbergen

Instructies voor 4 manieren om contacten op de iPhone te verbergen

Om uw persoonlijke gegevens en privacy te beschermen, kunt u uw contacten op de iPhone verbergen wanneer u dat wilt.

Hoe voorkom je dat iMessage de opslagruimte van je iPhone en iCloud volstopt?

Hoe voorkom je dat iMessage de opslagruimte van je iPhone en iCloud volstopt?

Na verloop van tijd wordt iMessage de app die het grootste deel van uw opslagruimte in beslag neemt.

Download de achtergrondset om van je iPhone een klassieke iPod te maken

Download de achtergrondset om van je iPhone een klassieke iPod te maken

Als u terug wilt naar de tijd waarin de iPod de muziekindustrie veroverde, kunt u uw iPhone omtoveren tot een klassieke iPod met de achtergrondset uit het onderstaande artikel.

Recente bestanden openen vanaf het startscherm van de iPhone

Recente bestanden openen vanaf het startscherm van de iPhone

U kunt meer bestanden toevoegen die u direct vanaf het startscherm van uw iPhone wilt openen. U kunt bijvoorbeeld recente bestanden openen vanaf het startscherm van uw iPhone.

Google Drive gebruiken met Android-bestandsbeheer

Google Drive gebruiken met Android-bestandsbeheer

Google Drive is een prima keuze voor iedereen die op zoek is naar een uiterst betrouwbare oplossing voor cloudopslag, vooral voor Android-gebruikers.

Waarom is het batterijpictogram van de iPhone geel? Hoe los ik dit op?

Waarom is het batterijpictogram van de iPhone geel? Hoe los ik dit op?

De gele batterijkleur op het iPhone-scherm wordt eigenlijk veroorzaakt door een nieuwe functie die Apple de energiebesparingsmodus noemt. Deze functie wordt niet automatisch geactiveerd zonder toestemming van de gebruiker. Als u per ongeluk de modus hebt geactiveerd terwijl u het apparaat gebruikte en nu niet weet hoe u het gele batterijpictogram van uw iPhone kunt uitschakelen, raadpleeg dan de volgende instructies.

8 beste vergrendelscherm-apps voor Android

8 beste vergrendelscherm-apps voor Android

Het vergrendelscherm op uw Android-apparaat heeft niet alleen een esthetische functie. Het is ook een belangrijk navigatiescherm waarmee u direct toegang krijgt tot de functies die u het meest gebruikt. Bekijk hieronder de lijst met apps en widgets voor het Android-vergrendelscherm als u het ontgrendelen van uw telefoon leuker en efficiënter wilt maken.

Hoe je het trileffect van toetsen op Android uitschakelt

Hoe je het trileffect van toetsen op Android uitschakelt

De meeste apps met een virtueel toetsenbord beschikken over een vibratiefeedbackfunctie (ook wel 'haptische feedback' genoemd) om typen op een touchscreen realistischer te maken.

Opera stopt met de ondersteuning van veel oudere iPhone-modellen

Opera stopt met de ondersteuning van veel oudere iPhone-modellen

Als u een iPhone 6, iPhone 6 Plus of een ouder iPhone-model gebruikt, kunt u de nieuwe versie van Opera niet op uw apparaat downloaden.