Es gibt einen neuen Anwärter auf den Titel des Königs der Open-Source-KI-Bildgeneratoren: Auraflow. Auraflow wurde letzte Woche vom generativen Medienunternehmen Fal AI veröffentlicht und gewinnt mit seiner Standardlizenz Apache 2.0 an Zugkraft. Dies fühlt sich wie ein Hauch frischer Luft an im Vergleich zu der restriktiven Lizenzierung, die Stability AI zur Veröffentlichung von Stable Diffusion 3 (SD3) verwendete.
Befürworter argumentieren, dass Open-Source-Projekte die Entwicklungszyklen in wettbewerbsintensiven Branchen deutlich beschleunigen können, da sie Entwickler von Lizenzen und anderen rechtlichen Zwängen befreien. Da keine Lizenzgebühren anfallen, bilden sich häufig Communities um kompetente Open-Source-Projekte, und Entwickler können ihre Arbeit optimieren, ändern, ausbilden und sogar davon profitieren.
„Wir freuen uns, Ihnen [with] die erste Veröffentlichung unserer Auraflow-Modellreihe, dem bisher größten, vollständig Open-Source-basierten, flussbasierten Generierungsmodell, das Text in Bilder umwandeln kann“, sagte FAL AI in einem Blogbeitrag. Das in San Francisco ansässige Unternehmen, das 2021 von Burkay Gur und Gorkem Yurtseven – Ingenieuren, die bei Coinbase bzw. Amazon gearbeitet haben – mitbegründet wurde, warnte, dass Open-Source-KI in Gefahr sei. „Einige haben sogar kühn verkündet, dass Open-Source-KI tot ist“, sagten sie. „Nicht so schnell!“
Während mehr als vier Wochen intensiver Rechenzeit wurde Auraflow einem gründlichen Training unterzogen, das ein Vortraining mit Bildern in verschiedenen Größen, Auflösungen (256 x 256, 512 x 512 und 1024 x 1024) und Seitenverhältnissen (quadratische Bilder, Landschaften, Porträts usw.) umfasste. Das Ergebnis? Ein GenEval-Score von 0,64, der mithilfe einer Prompt-Enhancement-Pipeline ähnlich DALL-E 3 auf 0,703 gesteigert werden konnte.
Mit anderen Worten: Das Modell lieferte bei Tests mit synthetischen Benchmarks qualitativ hochwertige Ergebnisse. So gut es auch ist, Auraflow ist immer noch nur eine Beta, da Fal es als Version 0.1 und nicht als stabile Version betrachtet.
Das Modell ist allerdings ein VRAM-Fresser. Es erfordert eine leistungsstarke GPU mit etwa 12 GB VRAM, um die fp16-Version auszuführen – Stable Diffusion 3 läuft beispielsweise mit nur 6 GB VRAM einwandfrei. Das Unternehmen behauptet jedoch, dass ein handlicheres Modell in Arbeit ist. „Kleinere Modelle oder MoEs könnten für GPU-Karten für Verbraucher, die über eine begrenzte Rechenleistung verfügen, effizienter sein, also bleiben Sie gespannt auf eine Miniversion von [this] Modell, das immer noch genauso leistungsstark ist, aber viel, viel schneller läuft“, sagte Fal AI.
Auraflow steht auf Huggingface zum Download bereit und kann in ComfyUI mit einem benutzerdefinierten Knoten ausgeführt werden, der auch im ComfyUI Manager verfügbar ist.
Auraflow stellt eine beeindruckende Alternative zu SD3 dar, aber ist es gut genug, um es zu schlagen? Wir haben die beiden Basismodelle verglichen und ihre Leistung in verschiedenen Kunststilen und Eingabeaufforderungen getestet. Sie können entscheiden, wer die Herzen von KI-Künstlern auf der ganzen Welt am ehesten gewinnen wird, während wir unsere Beobachtungen mit Ihnen teilen.
Kunststile und Kreativität
![](https://coinphony.com/wp-content/uploads/2024/07/1721678559_60_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Aufforderung: „Ein detailliertes Gemälde eines Sonnenuntergangs über einem ruhigen See, der Himmel ist in Orange-, Rosa- und Lilatönen gehalten, ein Holzsteg ragt ins Wasser, eine Person sitzt mit einer Angelrute am Ende des Stegs, umgeben von hohem Gras und Wildblumen. Der Gesamtstil ist impressionistisch mit kräftigen Pinselstrichen und leuchtenden Farben.“
Auraflow:
- Stärken: Fängt den impressionistischen Stil mit kräftigen Pinselstrichen und lebendigen Farben gut ein. Die Farbtöne des Himmels sind gut dargestellt und schaffen eine heitere Atmosphäre.
- Schwächen: Die Detaillierung der Person und der umgebenden Natur könnte genauer sein. Der Holzsteg und die angelnde Person sind möglicherweise nicht klar definiert. Die Angelrute wird nicht in einer natürlichen Position dargestellt.
SD3 Mittel:
- Stärken: Zeigt viel Liebe zum Detail, insbesondere bei der Darstellung der Person und des Piers. Die Gesamtszene ist strukturierter, mit klaren Elementen und feinen Umrissen.
- Schwächen: Der impressionistische Stil ist weniger ausgeprägt, die Pinselstriche wirken weicher und fotorealistischer als beabsichtigt.
Gewinner: Es ist ein Unentschieden. Auraflow folgt dem impressionistischen Stil stärker, aber SD3 ist detaillierter und strukturierter.
Realismus
![](https://coinphony.com/wp-content/uploads/2024/07/1721678560_50_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Prompt: „Ein hochauflösendes Foto einer belebten Stadtstraße bei Nacht, Neonschilder erhellen die Szene, Menschen gehen auf den Bürgersteigen, Autos fahren vorbei, ein Straßenhändler verkauft Hotdogs, Lichtreflexionen auf nassem Asphalt, der Gesamtstil ist hyperrealistisch mit Liebe zum Detail und zur Beleuchtung, auf einem Neonschild steht ‚Entschlüsseln‘.“
Auraflow:
- Stärken: Fängt das pulsierende Nachtleben mit Neonschildern und Spiegelungen auf nassem Asphalt ein. In der Szene herrscht reges Treiben und die Lichteffekte sind gut gelungen.
- Schwächen: Einige Details, wie der Straßenhändler und die Fußgänger, sind nicht scharf und sehen cartoonhaft aus, was die hyperrealistische Qualität beeinträchtigt. Den Neonschildern fehlt es an Klarheit. Es gibt ein gewisses Maß an Textverständnis, aber nicht genug, um vertrauenswürdig zu sein. (Neben dem Hotdog-Schild steht „Entschlüsseln“, aber es ist kaum lesbar.)
SD3 Mittel:
- Stärken: Bietet ein hohes Maß an Detailgenauigkeit und Klarheit, insbesondere bei der Darstellung von Personen und Objekten. Der hyperrealistische Stil wird durch präzise Beleuchtung und Reflexionen gut erreicht. Die Neonschilder sind klar und der Text ist lesbar
- Schwächen: Die Szenerie erscheint möglicherweise zu steril, da ihr das natürliche Chaos einer belebten Stadtstraße fehlt. Es gibt keinen Straßenhändler, nur den Hot-Dog-Stand
Gewinner: SD3 Medium bietet ein detaillierteres und hyperrealistischeres Bild und ist daher das bessere Modell für diese Eingabeaufforderung.
Illustration
![](https://coinphony.com/wp-content/uploads/2024/07/1721678560_152_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Prompt: „Handgezeichnete Illustration einer Riesenspinne, die eine Frau im Dschungel jagt, extrem beängstigend, qualvoll, dunkle und gruselige Szenerie, Horror, Anklänge an analoge Fotografie, Skizze.“
Auraflow:
- Stärken: Schafft erfolgreich eine dunkle und gruselige Atmosphäre. Der handgezeichnete Stil mit Skizzenelementen ist deutlich zu erkennen.
- Schwächen: Der Detailgrad der Spinne und der Frau lässt möglicherweise zu wünschen übrig, wodurch die Szene weniger beängstigend und intensiv wird.
SD3 Mittel:
- Stärken: Bietet eine sehr detaillierte und gruselige Darstellung der Spinne und der Frau. Die Elemente der Angst und des Grauens sind ausgeprägter.
- Schwächen: Der Einfluss der analogen Fotografie ist weniger deutlich, und der Skizzenstil könnte durch den hohen Detailgrad in den Schatten gestellt werden. Einige Gliedmaßen der Spinne sind unnatürlich
Gewinner: SD3 Medium bietet eine erschreckendere und detailliertere Darstellung und ist daher das bessere Modell für diese Aufforderung.
Schnelle Einhaltung
![](https://coinphony.com/wp-content/uploads/2024/07/1721678560_379_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Prompt: „Ein surreales digitales Kunstwerk einer schwebenden Insel im Himmel. Die Insel ist mit üppigem Grün bedeckt und hat Wasserfälle, die in die Wolken darunter stürzen. In der Mitte der Insel befindet sich ein kleines Schloss. Brücken aus Licht verbinden die anderen schwebenden Inseln. Der Himmel ist voller bunter Heißluftballons und Fabelwesen. Der Gesamtstil ist fantastisch mit verträumten Elementen und Leuchteffekten.“
Auraflow:
- Stärken: Fängt die fantastischen und verträumten Elemente gut ein, mit leuchtenden Effekten und lebendigen Farben. Die schwimmende Insel und die Wasserfälle sind wunderschön dargestellt. Die Brücken bestehen aus Licht und die Fabelwesen sind in der Szene dargestellt
- Schwächen: Bei einigen Elementen, wie etwa den Lichtbrücken und Fabelwesen, mangelt es möglicherweise an Details und Klarheit.
SD3 Mittel:
- Stärken: Bietet eine sehr detaillierte und komplexe Szene mit einem eher cartoonhaften Aussehen.
- Schwächen: Die prompte Einhaltung war in dieser Generation schwächer, es entstanden keine Brücken aus Licht, die Brücken verbinden nicht mit anderen Inseln und es gibt keine Fabelwesen.
Gewinner: Auraflow hat alle Elemente in der Eingabeaufforderung erfasst und ist daher das bessere Modell für diese Eingabeaufforderung.
Räumliches Vorstellungsvermögen
![](https://coinphony.com/wp-content/uploads/2024/07/1721678560_48_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Prompt: „Ein Hund steht auf einem Fernseher, auf dessen Bildschirm das Wort ‚Entschlüsseln‘ angezeigt wird. Links ist eine Frau im Anzug zu sehen, die eine Münze hält, rechts steht ein Roboter auf einem Erste-Hilfe-Kasten. Die Szenerie ist insgesamt surreal.“
Auraflow:
- Stärken: Erzeugt eine surreale und fantasievolle Szene. Die Komposition und räumliche Anordnung sind interessant.
- Schwächen: Die Details des Hundes, des Roboters und der Frau sind möglicherweise weniger ausgefeilt, was die Gesamtwirkung beeinträchtigt. Das Kreuz des Erste-Hilfe-Kastens sickerte in eine zweite Kiste und den Roboter selbst. Die Textgenerierung war schlecht.
SD3 Mittel:
- Stärken: Bietet eine sehr detaillierte und klare Darstellung aller Elemente. Die surreale Atmosphäre wird durch die präzise räumliche Anordnung gut aufrechterhalten. Die Gesamtszene war weniger realistisch.
- Schwächen: Die Szene erscheint möglicherweise weniger einfallsreich und eher wörtlich.
Gewinner: Gleichstand. SD3 Medium bietet eine bessere Übersichtlichkeit und ist damit das bessere Modell für diese Eingabeaufforderung. Auraflow bietet ebenfalls alle Elemente der Generation und zeigte ein gutes Verständnis in Bezug auf das Raumverständnis.
Anime und Manga
![](https://coinphony.com/wp-content/uploads/2024/07/1721678561_984_Lernen-Sie-Auraflow-kennen-Ein-wirklich-Open-Source-KI-Bildgenerator-der-Stable-Diffusion.png@webp.webp)
Aufforderung: „Eine Ninja-Frau kämpft im alten Japan gegen einen starken Samurai, Anime, Manga, sehr detailliert, farbenfroh, dynamisch.“
Auraflow:
- Stärken: Fängt die dynamischen und farbenfrohen Elemente von Anime und Manga gut ein. Die Actionszene ist lebendig und fesselnd. Der Stil war äußerst detailliert, eher wie eine Coverillustration
- Schwächen: Es fehlte an Konsequenz, es wurden nur die weiblichen Ninjas erschaffen und dem Samurai-Gegner wurde keine Beachtung geschenkt.
SD3 Mittel:
- Stärken: Habe mich für einen schlichten, zweidimensionalen Manga-Stil entschieden, der die Szene lebendig und dynamisch macht.
- Schwächen: Die Farben sind möglicherweise weniger lebendig, was die Gesamtdynamik beeinträchtigt. Es ist nicht gelungen, die Landschaft des alten Japans einzufangen.
Gewinner: SD3 Medium bietet eine detailliertere und dynamischere Darstellung und ist daher das bessere Modell für diese Eingabeaufforderung. In beiden fehlten wichtige Elemente hinsichtlich der Einhaltung der Eingabeaufforderung.
Abschluss
Auraflow zeichnet sich durch die Erfassung impressionistischer, fantastischer und skurriler Stile aus, während SD3 Medium besser darin ist, detaillierte, hyperrealistische und dynamische Szenen bereitzustellen.
Beide Schwächen können durch Feinabstimmung behoben werden, und hier ist das Gesetz der Technik überlegen. Die Open-Source-Lizenz Apache 2.0 von Auraflow macht es für Feinabstimmungsspezialisten attraktiv, da sie die freie Nutzung, Reproduktion und Verteilung unter den Lizenzbedingungen erlaubt, im Gegensatz zu SD3, das in dieser Hinsicht restriktiver ist. Daher ist es möglicherweise einfacher, mit der Arbeit an Auraflow zu beginnen. Aber bis dahin ist dies nur ein strategischer Vorteil, der noch nicht realisiert wurde.
Allerdings benötigt Auraflow viel VRAM, um zu laufen. Einige Berichte geben bis zu 35 GB an, was deutlich mehr ist als SD3, das nur 6 GB VRAM benötigt. Zum Vergleich: Eine 24 GB RTX 4090 kostet bei Amazon bis zu 1700 $, während eine 6 GB RTX3050, die SD3 ausführen kann, für weniger als 200 $ zu haben ist. Dies ist ein greifbarer Vorteil, den SD3 gegenüber Auraflow hat im Augenblick.
Unter diesen Gesichtspunkten stellt SD3 Medium in diesem Vergleich aktuell das bessere Modell dar, welches aufgrund geringerer Hardwareanforderungen und qualitativ vergleichbarer Ergebnisse eine breitere Anwenderbasis bedient.
Dennoch ist Auraflow sehr vielversprechend. Wenn in Zukunft eine abgespeckte (kleinere) oder quantisierte (weniger präzise) Version entwickelt wird, die die Hardwareanforderungen reduziert, könnte Auraflow ein starker Konkurrent werden und möglicherweise die langjährige Dominanz von Stability mit seinen Stable Diffusion-Modellen in Frage stellen.
Allgemein intelligent Newsletter
Eine wöchentliche KI-Reise, erzählt von Gen, einem generativen KI-Modell.