• Lucy :3@feddit.org
    link
    fedilink
    arrow-up
    28
    ·
    2 months ago

    Als kommerzielles Sprachmodell ist es vor allem darauf programmiert, Kohle zu machen.

    • 0laura@lemmy.dbzer0.com
      link
      fedilink
      English
      arrow-up
      6
      ·
      2 months ago

      offene quelle große sprach Modelle sind toll. reimt sich sogar. kann man auch auf normal Verbraucher Spielen Grafik Prozessor Einheiten benutzen.

      • DarkThoughts@fedia.io
        link
        fedilink
        arrow-up
        6
        ·
        2 months ago

        Für die großen Modelle wirst du nicht genug vram haben. Da brauchst du schon einen Server oder sehr potente Workstation. Auf Bazzite bekomme ich aber nicht mal mehr ROCm support zum laufen.

        • 0laura@lemmy.dbzer0.com
          link
          fedilink
          English
          arrow-up
          4
          ·
          2 months ago

          Mit den 8gb meiner RTX 3070 die in meinem Laptop ist kann ich nichts wirklich nützliches machen was LLMs an geht, für Stable diffusion ist es aber mehr als ausreichend. Wenn ich ein bissl Kohle übrig habe für einen PC habe ich vor mir eine von AMD mit 16gb zu holen, das sollte mehr als genug für gute open source Modelle sein.

          • DarkThoughts@fedia.io
            link
            fedilink
            arrow-up
            3
            ·
            2 months ago

            Für ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und für 70b brauchst du halt 40GB. Für viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.

          • waht@feddit.org
            link
            fedilink
            arrow-up
            3
            ·
            2 months ago

            Vorsicht bei AMD. Die Unterstützung gilt meistens nur für die Karten/Chips der letzten 2 Jahre. Dann haste Pech. Hab ein Krita SD Plugin auf meinem 5 Jahre alten PC mit nVidia zum laufen gebracht, während der 2 Jahre alte Laptop mit AMD Chip nicht mehr lief. Der Chip wurde mal unterstützt, aber der Support seitens AMD gestrichen.

            • 0laura@lemmy.dbzer0.com
              link
              fedilink
              English
              arrow-up
              2
              ·
              2 months ago

              Ich habe immer gehoert Fortgeschrittene Mikro Geraete (FMG) ist das geh-zu fuer Linux? Ich hatte auch viele Probleme mit meiner Nvidia Karte auf NixOS. Vielleicht ist es mit denen offenequelle treibern von Linux besser als auf Fenster?

        • Lucy :3@feddit.org
          link
          fedilink
          arrow-up
          3
          ·
          2 months ago

          Ich hatte mal Llama auf meiner Arbeitsstation laufen, auf dem Prozessor (Xeon E5-2680) mit 128 GB Arbeitsspeicher. Hat ok funktioniert.

            • Lucy :3@feddit.org
              link
              fedilink
              arrow-up
              3
              ·
              2 months ago

              Stimmt, aber bis jetzt ist es das beste das ich habe. Sonst halt ne 1070, aber das reicht auch nicht wirklich, denke ich mal. Und selbst wenn ich dann meine neue Graka bekomme, ne 7900 XTX, wandert nur die 1070 in die Arbeitsstation. Heißt ich kann wenigstens andere KI sachen vernünftig laufen lassen (zB. NächsteWolke Bilderkennung) oder auch NetzODK (Netz offene Drohnen Karte, für die Feuerwehrdrohne). Und der alte PC, ohne Graka, dient dann einfach als Zurückhochverifizierer (Zu Gugel Fahren hochgeladene, verschlüsselte und verpackte Zurückhochs werden automatisch heruntergeladen, entschlüsselt, entpackt, die Plattenstruktur repliziert und das dann darüber entpackt. Und final in einer VM gestartet.)