Wpis użytkownika fervi w Hydepark

@madhouze Zależy co robisz. Ja wspieram open source (tym hajsem, że tak powiem), a to wszystko i tak publicznie dostępne, więc to nie problem 😛

Jakbym miał płacić to albo za Mistrala (bo Europa + Open Source) albo OpenCode Go (bo mają topowe modele za 10 dolarów)

@fervi opłacam chatgpt i Gemini, ale to prawie 200 zł na miesiąc, dlatego mnie to zaciekawiło, ale chyba jednak nie będę ryzykował

@madhouze Prawdopodobnie to wygląda tak:

* Chińczyk kupuje na organizację konto

* Ty kupujesz klucz na Allegro

* On daje Ci linka, który dołącza do organizacji

* Jest szansa na bana, więc uważaj

Coś słyszałem, że oni mogą wtedy uczyć swoje AI (poprzez dane treningowe). Może więc mają wgląd do korespondencji.

Jeśli chcesz legitny plan to zobacz OpenCode Go - 10 dolarów (gdy konkurencja ma 20) lub Mistral (ale Mistral ma słabe modele, ale projekt francuski, więc RODO itd)

Albo OpenCode Zen z darmowymi modelami, są limity dzienne, ale może przetrwasz :grinning:

@Legendary_Weaponsmith prywatnie nie zaryzykował bym brania odpowiedzialności za kod którego nie rozumiem. Wiedza domenowa, ok, ale wtedy pokryjesz tylko known unknowns, ale zostaje znacznie większy worek z unknown unknowns niż gdybyś znał dany język (umówmy się też, że nie tylko sam język, ale i język i narzędzia wokół niego).

To jest ok dla PoC, ale nie dla produkcji imo, nie na dzień dzisiejszy przynajmniej

@baklazan Ogólnie z jednej strony optymalizacje modeli to jest klucz, który powinno się wdrażać, ale z drugiej większość optymalizacji pogarsza działanie LLMa. Od nieznacznie do znacznie.

Dlatego LLMów "komercyjnych" się nie optymalizuje, a głównie te open source i to też niektóre.

Weźmy przykład: Qwen3.6 35B A3B vs Qwen3.6 27B. Wydaje się, że 35B jest lepszy, bo ma więcej parametrów, tak? Otóż nie 😛

Gdyż jest na architekturze MoE, która daje bardzo dużą wydajność (spora optymalizacja), ale zarazem realnie gorsze wyniki, bo to takie połączenie X modeli po 3B parametrów, z czego tylko np. 4 są aktywowane podczas odpowiedzi.

@fervi możesz rozszerzyć, bo nie jestem pewien co masz na myśli

@baklazan Największy problem z LLMami jest taki, że muszą być inteligentne, osiągać jak najwięcej punktów itd. Im słabiej tym gorzej.

Na przykład świetnie zoptymalizowanymi modelami są Qwen3.6 i Gemma 4. Chodzą na RTXach i społeczność wyciska ile się da z nich. DFlashe, Turboquanty itd.

@fervi uważam że jest bardzo duże pole do popisu jeśli chodzi o optymalizację LLMów, w zasadzie na wszystkich płaszczyznach, ale jest jeszcze bardzo daleka droga zanim to się stanie. A do tego czasu - będą drożeć.

@fervi - tańsze przez jakiś czas nie będą :thinking_face:

@baklazan Tylko nawet jeśli dochodzą do limitów to nie znaczy, że nie są użyteczne 😛

A jeszcze lepiej jak będą z roku na rok - tańsze, łatwiejsze do wdrożenia itd.

@kim_jestesmy_dokad_zmierzamy Możliwe. No tutaj to Bash i budowanie aplikacji, dodawanie parametrów do budowania, czasem fix jakiś kodu.

@fervi potrzebowałem ladder przerobić na hex, i nie dał rady, chyba zbyt trudne zadanie mu dałem

@kim_jestesmy_dokad_zmierzamy Widocznie słaby kod 😛 Ogólnie w znacznej części rzeczy daje radę. Raz wysłałem PRa z naprawą budowania do Termux, Gemini znalazło ukrytą flagę deweloperską, która rozwiązywała problem xD

@vrkr Bo tutaj kwestia co wrzucasz. Ja po prostu napotykam na problem, pytam AI o rozwiązanie i wrzucam je. A jak ktoś puszcza AI i szuka rozwiązań do problemów, które nie istnieją to kończy się jak kończy :grinning: