9 beste lokale/offline LLMs die je nu kunt proberen

Nu quantum LLM's beschikbaar zijn op HuggingFace en AI-ecosystemen zoals H20, Text Gen en GPT4All, waardoor u LLM- gewichten op uw computer kunt laden, hebt u nu een optie voor gratis, flexibele en veilige AI. Hier zijn de 9 beste lokale/offline LLM's die je nu kunt proberen!

Inhoudsopgave

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Bèta
• 3. Falcon Instruct GPTQ
• 4. GPT4ALL-J Groovy
• 5. DeepSeek Coder V2 Instructie
• 6. Mixtral-8x7B
• 7. Tovenaar Vicuna Uncensored-GPTQ
• 8. Orca Mini-GPTQ
• 9. Lama 2 13B Chat GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro is een geavanceerd taalmodel dat is verfijnd door Nous Research. Het maakt gebruik van een bijgewerkte en afgeslankte versie van de OpenHermes 2.5-dataset, samen met de nieuw geïntroduceerde Function Calling- en JSON-datasets die door het bedrijf zelf zijn ontwikkeld. Dit model is gebaseerd op de Mistral 7B-architectuur en is getraind op 1.000.000 instructies/conversaties van GPT-4-kwaliteit of beter, voornamelijk synthetische gegevens.

De Hermes 2 Pro op de Mistral 7B is het nieuwe vlaggenschipmodel van de Hermes 7B en biedt verbeterde prestaties in diverse benchmarks, waaronder AGIEval, BigBench Reasoning, GPT4All en TruthfulQA. Dankzij de geavanceerde mogelijkheden is het geschikt voor veel taken op het gebied van natuurlijke taalverwerking (NLP), zoals codegeneratie, contentcreatie en conversationele AI-toepassingen.

2. Zephyr 7B Bèta

Zephyr is een reeks taalmodellen die zijn getraind om als behulpzame assistenten te fungeren. Zephyr-7B-Beta is het tweede model in de reeks en is verfijnd op basis van Mistral-7B-v0.1 met behulp van Direct Preference Optimization (DPO) op een combinatie van openbaar beschikbare synthetische datasets.

Door de ingebouwde uitlijning van trainingsdatasets te elimineren, levert Zephyr-7B-Beta betere prestaties bij benchmarks zoals MT-Bench, waardoor de bruikbaarheid ervan bij uiteenlopende taken wordt vergroot. Deze aanpassing kan echter tot problematische tekstgeneratie leiden wanneer hier op bepaalde manieren naar wordt gevraagd.

3. Falcon Instruct GPTQ

Deze gekwantiseerde versie van Falcon is gebaseerd op een decoder-only architectuur die is verfijnd op basis van het ruwe Falcon-7b-model van TII. Het basismodel van Falcon is getraind met behulp van 1,5 biljoen uitstaande tokens afkomstig van het openbare internet. Falcon Instruct is een op opdrachten gebaseerd decoder-only model met een Apache 2-licentie en is daarom perfect voor kleine bedrijven die op zoek zijn naar een model voor taalvertaling en gegevensverwerking.

Deze versie van Falcon is echter niet geschikt voor fijnafstemming en is alleen bedoeld voor inferentie. Als u Falcon nauwkeurig wilt afstemmen, moet u het ruwe model gebruiken. Hiervoor hebt u mogelijk toegang nodig tot trainingshardware van zakelijke kwaliteit, zoals NVIDIA DGX of AMD Instinct AI Accelerators.

4. GPT4ALL-J Groovy

GPT4All-J Groovy is een model dat alleen uit decoders bestaat en is afgestemd door Nomic AI en gelicentieerd onder Apache 2.0. GPT4ALL-J Groovy is gebaseerd op het originele GPT-J-model, dat bekend staat om zijn uitstekende vermogen om tekst te genereren uit prompts. GPT4ALL -J Groovy is aangepast naar een conversatiemodel, wat geweldig is voor snelle en creatieve tekstgeneratietoepassingen. Hierdoor is GPT4All-J Groovy ideaal voor contentmakers die hen willen helpen met hun schrijf- en compositievaardigheden, of het nu gaat om poëzie, muziek of verhalen.

Helaas is het basismodel van GPT-J getraind op een dataset die alleen in het Engels beschikbaar was. Dat betekent dat zelfs dit verfijnde GPT4ALL-J-model alleen in het Engels kan communiceren en tekstgeneratietoepassingen kan uitvoeren.

5. DeepSeek Coder V2 Instructie

DeepSeek Coder V2 is een geavanceerd taalmodel dat programmeren en wiskundig redeneren verbetert. DeepSeek Coder V2 ondersteunt meerdere programmeertalen en biedt uitgebreide contextlengte, waardoor het een veelzijdige tool is voor ontwikkelaars.

Vergeleken met zijn voorganger laat DeepSeek Coder V2 aanzienlijke verbeteringen zien in taken met betrekking tot coderen, redeneren en algemene vaardigheden. Het breidt de ondersteuning voor programmeertalen uit van 86 naar 338 en vergroot de contextlengte van 16K naar 128K tokens. In benchmarks presteert het beter dan modellen zoals de GPT-4 Turbo, Claude 3 Opus en Gemini 1.5 Pro in cryptografische en wiskundige benchmarks.

6. Mixtral-8x7B

Mixtral-8x7B is een mix van expertmodellen (MoE) ontwikkeld door Mistral AI. Er zijn 8 experts per MLP, met in totaal 45 miljard parameters. Er worden echter slechts twee experts per token geactiveerd tijdens de inferentie, waardoor het rekenkundig efficiënt is, met een snelheid en kosten die vergelijkbaar zijn met een model met 12 miljard parameters.

Mixtral ondersteunt een contextlengte van 32.000 tokens en presteert op de meeste benchmarks 70 miljard beter dan Llama 2. De prestaties zijn gelijk aan of hoger dan die van GPT-3.5. De cursus is vloeiend in meerdere talen, waaronder Engels, Frans, Duits, Spaans en Italiaans, waardoor het een veelzijdige keuze is voor een verscheidenheid aan NLP-taken.

7. Tovenaar Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ is de quantumversie van Wizard Vicuna gebaseerd op het LlaMA-model. In tegenstelling tot de meeste LLM's die openbaar worden gemaakt, is Wizard-Vicuna een ongecensureerd model waarbij de associatie is verwijderd. Dit betekent dat het model niet dezelfde veiligheids- en ethische normen heeft als de meeste andere modellen.

Hoewel het een probleem kan vormen voor de controle van de AI-uitlijning, haalt een ongecensureerde LLM ook het beste uit het model naar boven, omdat het zonder beperkingen kan antwoorden. Hierdoor kunnen gebruikers ook hun eigen aangepaste afstemming toevoegen aan hoe de AI moet handelen of reageren op basis van een gegeven prompt.

8. Orca Mini-GPTQ

Wilt u een model testen dat is getraind met een unieke leermethode? Orca Mini is een onofficiële implementatie van het Orca-onderzoeksrapport van Microsoft. Dit model is getraind met behulp van een leerbenadering waarbij docent en student centraal staan. Hierbij wordt de dataset gevuld met uitleg in plaats van alleen met vragen en antwoorden. In theorie zou dit de student slimmer moeten maken, omdat het model het probleem kan begrijpen in plaats van alleen te zoeken naar invoer- en uitvoerparen, zoals bij de conventionele LLM.

9. Lama 2 13B Chat GPTQ

Llama 2 is de opvolger van de originele Llama LLM en biedt verbeterde prestaties en veelzijdigheid. De 13B Chat GPTQ-variant is afgestemd op conversationele AI-toepassingen die zijn geoptimaliseerd voor Engelstalige dialogen.

Sommige van de hierboven genoemde modellen zijn leverbaar in meerdere specificaties. Over het algemeen leveren versies met hogere specificaties betere resultaten op, maar vereisen ze krachtigere hardware. Versies met lagere specificaties leveren daarentegen resultaten van lagere kwaliteit, maar kunnen wel op minder krachtige hardware draaien. Als u niet zeker weet of uw pc dit model aankan, probeer dan eerst een versie met lagere specificaties en ga hiermee door totdat u vindt dat de prestatiedaling niet langer acceptabel is.