Verander een verhaal in een stripverhaal met Lore Machine

Twaalf jaar geleden schreef auteur Will Douglas Heaven in zijn vrije tijd een humoristisch kort verhaal over een man met een passie voor luxe kattenvoer. En nu is er een generatief AI- platform genaamd Lore Machine, dat heeft geholpen om dit interessante verhaal om te zetten in een stripverhaal.

De auteur vult zijn verhaal in en krijgt de volgende melding: " We identificeren scènes, locaties, personages en emoties. Dit kan tot 2 minuten duren ." Lore Machine analyseerde de tekst, haalde er beschrijvingen uit van de genoemde personen en plaatsen en gaf die informatie door aan een beeldgenererend model.

Er verschijnt een geïllustreerd storyboard op het scherm. Terwijl de auteur door de levendige, komische illustraties van zijn bijna vergeten personages bladert, nemen de zaken een verrassende wending.

Na meer dan een jaar van ontwikkeling heeft de Lore Machine nu zijn publieke debuut gemaakt. Voor $ 10 per maand kunt u maximaal 100.000 woorden uploaden (maximaal 30.000 woorden per upload) en 80 afbeeldingen maken voor korte verhalen, scripts, podcasttranscripties en meer. Er zijn ook abonnementen voor gevorderde gebruikers, waaronder een zakelijk abonnement van $ 160 per maand met 2,24 miljoen woorden en 1.792 afbeeldingen. Illustraties zijn er in allerlei stijlen, van manga en aquarel tot tv-programma's uit de jaren 80.

Zac Ryder, oprichter van het creatieve bureau Modern Arts, gebruikt een early access-versie van de tool sinds Thobey Campion, oprichter van Lore Machine, Ryder voor het eerst liet zien wat de tool kon doen. Ryder leverde een script voor een korte film in bij het systeem en Lore Machine maakte er in één nacht een komische roman van 16 pagina's van.

"Ik herinner me nog dat Thobey zijn scherm deelde. We waren allemaal compleet verbluft", zei Ryder. “Het gaat niet alleen om het visuele aspect, maar ook om de verhaallijn: van de verhaallijn tot de emoties van de personages, alles was vanaf het begin perfect.”

Modern Arts gebruikt momenteel Lore Machine om een ​​fictief universum te ontwikkelen voor een stripboekenreeks. Deze serie is gebaseerd op een script van de maker van Love, Death & Robots op Netflix.

Lore Machine is gemaakt van bekende componenten:

• Een groot taalmodel (LLM) scant uw tekst en identificeert beschrijvingen van mensen, plaatsen en algemene gevoelens.
• Een stabiele diffusieversie genereert de afbeelding.

Wat Lore Machine echter anders maakt, is hoe eenvoudig het te gebruiken is. Met slechts een paar klikken kunt u verhaalinhoud uploaden en resultaten downloaden.

Dat maakt Lore Machine een goed voorbeeld van een nieuwe golf aan tools: gebruiksvriendelijk, maar toch schuilt er een ongelooflijke kracht achter een verbazingwekkend simpele webinterface.

"Er moet nog veel werk worden verzet om nieuwe AI-tools te updaten, en de interfaces en workflows verschillen per tool ", aldus Ben Palmer, CEO van New Computer Corporation, een bedrijf dat content creëert. "Er is veel aantrekkingskracht in het gebruik van één grote tool met een consistente gebruikersinterface. Ik denk dat de industrie daar zijn draai zal vinden."

Campion richtte twee jaar geleden het bedrijf achter Lore Machine op om een ​​blockchainversie van Wikipedia te ontwikkelen. Maar toen hij zag hoe mensen generatieve modellen toepasten, veranderde Campion van koers. Campion gebruikte het gratis tekst-naar-afbeelding model Midjourney om een ​​stripversie te maken van The Rime of the Ancient Mariner van Samuel Taylor Coleridge . Hij zei dat het werk viraal was gegaan, maar dat het maken ervan geen pretje was.

"Mijn vrouw haatte dat project ", zei Campion. “Elke nacht blijf ik op tot 4 uur ’s ochtends om de foto’s perfect te maken .” Het probleem is dat tekst-naar-afbeeldingmodellen zoals Midjourney één afbeelding tegelijk genereren. Dat maakt het lastig om consistentie te behouden tussen verschillende afbeeldingen van hetzelfde personage. Zelfs het vasthouden aan een specifieke stijl voor meerdere afbeeldingen kan lastig zijn.

Deze ervaring deed hem beseffen dat de technologie veel gebruiksvriendelijker moest worden. Campion vertelt niet precies hoe Lore Machine erin slaagt om de beeldtaal en stijl consistent te houden in een reeks illustraties. Het is redelijk goed, maar niet perfect: in een scène in het verhaal van de auteur krijgt een personage met kort haar ineens een pony, en er is ook een scène waarin een personage twee keer voorkomt - op een andere plek.

Ook de illustraties krijgen gaandeweg een generiek karakter. De auteur vond het teleurstellend dat veel karakterbeschrijvingen erg specifiek waren en niet in de illustraties te zien waren. Toch was de Lore Machine, vergeleken met het handmatig maken van elk frame, een enorme stap voorwaarts.

"De consistentie is opmerkelijk", zegt Ryder . Het gaf Ryders bedrijf Modern Arts genoeg vertrouwen om de Lore Machine in te zetten voor een project met een klant. " Als we voortdurend terug moeten gaan en consistentieproblemen moeten oplossen, kunnen we nooit op tijd leveren . "

Net als alle andere generatieve modellen kan de technologie achter Lore Machine op aanvraag schadelijke inhoud genereren. Campion zei dat ze de creatie van beelden die geweld of haat uitbeelden wilden voorkomen, maar dat ze tegelijkertijd de creatieve expressie van kunstenaars niet wilden beperken.

Een groot deel van de aanvankelijke interesse in Lore Machine kwam van marketingbureaus. Campion hoopt dat de brede introductie meer gebruikers zal aanmoedigen om het uit te proberen. Campion vertelde dat hij zes maanden geleden een telefoontje kreeg van de directeur van een school voor gehandicapte kinderen in Manhattan. De directeur wilde zijn schoolboeken door dit hulpmiddel halen, zodat de kinderen de afbeeldingen konden zien. " Ik had er nog niet eens over nagedacht. Ik zat zo vast in de Hollywood-mentaliteit ", zei Campion.