Wpis użytkownika kim_jestesmy_dokad_zmierzamy w Dyskusje

@kim_jestesmy_dokad_zmierzamy w sensownych modelach ogranicza cię vram na karcie/kartach graficznych.

Możesz sobie wynająć VM z kartami graficznymi i spróbować naprawdę dużych dataset

https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines#a4-vms

GPU machines in accelerator-optimized machine family | Compute Engine | Google Cloud DocumentationUnderstand accelerator-optimized machine families for GPU-accelerated AI, ML, and HPC workloads.Google Cloud Documentation

Jest chyba jeszcze Odysseus od PewDiePie'a na GitHubie

Są takie modele, ale samo korzystanie (nie mówiąc o uczeniu w ogóle xd) jest w zasadzie tylko dla osób które absolutnie nie cenią swojego czasu i mają go nieskończoność :upside_down_face:

Modele do jakiejś wąskiej dziedziny typu obrabianie obrazka czarno-białego potrafią wypluwać wynik po paru godzinach

@kim_jestesmy_dokad_zmierzamy można odpalić AI lokalnie, ale to zależy. Żeby działało jak modele Claude czy ChatGPT z przed roku, musisz mieć komputer za 50-150 tysięcy. Dzięki kilku kartom graficznym w wersji dla super entuzjastów będziesz w stanie mieścić w ich pamięci duże (i inteligentne) modele, a szybkie procesory graficzne pozwolą na szybką inferencję - model będzie szybko pisać.

Za mniej kupisz macmini (a jeszcze mniej starszy model), który ma dużo RAM, ale gorszy procesor. Odpalisz tam średnie modele ze średnią prędkością. I tak mogą dużo. Tylko nie napiszą ci złożonej appki przez jeden dzień.

Ew. masz komputer do grania. W karcie graficznej takiego komputera odpalisz w miarę szybko słabsze modele. Dalej się nadają do czegoś, ale gubią kontekst, halucynują i trzeba je bardzo pilnować i prowadzić za rączkę.

Jak już masz gdzie odpalić model, to jeszcze kwestia tego jak będziesz go używać. Jest projekt pewpewdiepie, jest Hermes. Bo to jak ich używasz dużo zmienia.

poczytaj czy chcesz stworzyć model AI, czy może zwykły model uczenia maszynowego? Czy może chcesz użyć gotowego i nim przetwarzać dane na swoim komputerze? Czy gotowy model do trenować?

O tych wszystkich rzeczach nie mam zielonego pojęcia, ale kolega opowiadał.

Wbijaj na huggingface.co
Tam od dawna jest masa różnych modeli gotowych do pobrania i odpalenia

@kim_jestesmy_dokad_zmierzamy jak chcesz coś trenować to po co ci chiński model? Do orkiestracji?

To czy model odpalisz i jak szybko (najczęściej jak wolno) będzie chodzić zależy od sprzętu i wybranego modelu

Szczerze - najlepiej przedstaw swój problem jakiemuś GPT, czym dysponujesz sprzętowo, a on ci powie jaki setup z tego zrobić najlepiej

Możesz też rzucić większym konkretem niż "nietypowe"

Myślałem, że wiele modeli da się odpalić lokalnie, nawet niektóre ściągałem, żeby się tym pobawić. Choć w sumie nie wiem jak to jest z trenowaniem. To jest coś innego?