Mit den 8gb meiner RTX 3070 die in meinem Laptop ist kann ich nichts wirklich nützliches machen was LLMs an geht, für Stable diffusion ist es aber mehr als ausreichend. Wenn ich ein bissl Kohle übrig habe für einen PC habe ich vor mir eine von AMD mit 16gb zu holen, das sollte mehr als genug für gute open source Modelle sein.
Vorsicht bei AMD. Die Unterstützung gilt meistens nur für die Karten/Chips der letzten 2 Jahre. Dann haste Pech.
Hab ein Krita SD Plugin auf meinem 5 Jahre alten PC mit nVidia zum laufen gebracht, während der 2 Jahre alte Laptop mit AMD Chip nicht mehr lief. Der Chip wurde mal unterstützt, aber der Support seitens AMD gestrichen.
Ich habe immer gehoert Fortgeschrittene Mikro Geraete (FMG) ist das geh-zu fuer Linux? Ich hatte auch viele Probleme mit meiner Nvidia Karte auf NixOS. Vielleicht ist es mit denen offenequelle treibern von Linux besser als auf Fenster?
Für ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und für 70b brauchst du halt 40GB. Für viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.
Mit den 8gb meiner RTX 3070 die in meinem Laptop ist kann ich nichts wirklich nützliches machen was LLMs an geht, für Stable diffusion ist es aber mehr als ausreichend. Wenn ich ein bissl Kohle übrig habe für einen PC habe ich vor mir eine von AMD mit 16gb zu holen, das sollte mehr als genug für gute open source Modelle sein.
Vorsicht bei AMD. Die Unterstützung gilt meistens nur für die Karten/Chips der letzten 2 Jahre. Dann haste Pech. Hab ein Krita SD Plugin auf meinem 5 Jahre alten PC mit nVidia zum laufen gebracht, während der 2 Jahre alte Laptop mit AMD Chip nicht mehr lief. Der Chip wurde mal unterstützt, aber der Support seitens AMD gestrichen.
Ich habe immer gehoert Fortgeschrittene Mikro Geraete (FMG) ist das geh-zu fuer Linux? Ich hatte auch viele Probleme mit meiner Nvidia Karte auf NixOS. Vielleicht ist es mit denen offenequelle treibern von Linux besser als auf Fenster?
Für ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und für 70b brauchst du halt 40GB. Für viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.