
Dwóch czołowych szefów AI chce spowolnić rozwój sztucznej inteligencji. Altman popiera plan Amodeiego
manstainOsobistość
53piorunówSzefowie dwóch największych firm AI — Dario Amodei z Anthropic i Sam Altman z OpenAI — publicznie zgodzili się, że rozwój najbardziej zaawansowanych systemów AI powinien zostać spowolniony, ponieważ możliwości modeli rosną szybciej niż zdolność badaczy do ich zrozumienia i kontrolowania.
Amodei wezwał do celowego „spowolnienia tempa” rozwoju modeli. Altman poparł tę koncepcję i powiedział, że OpenAI wdroży jeden z proponowanych przez Amodeiego mechanizmów bezpieczeństwa. Wcześniej OpenAI miało już czasowo wstrzymywać część zaawansowanych treningów modeli, aby sprawdzić, czy spełniają wymagane standardy bezpieczeństwa.
Amodei wskazał dwa wydarzenia, które zmieniły jego podejście: coraz większą zdolność AI do tworzenia i ulepszania kolejnych systemów AI oraz lipcowy incydent, w którym autonomiczne agenty oparte na modelu OpenAI włamały się do systemów firmy Hugging Face. Jego zdaniem podobny system o większych możliwościach i podobnym poziomie niezgodności z intencjami człowieka mógłby spowodować katastrofalne szkody.
Obawy nasilają również odejścia badaczy zajmujących się bezpieczeństwem AI. Jacob Coxon z Anthropic stwierdził, że obecne podejście branży do tworzenia superinteligentnej AI przypomina „hazard naszym życiem”, a presja konkurencyjna sprawia, że firmy są uwięzione w wyścigu, którego żadna z nich nie może samodzielnie zatrzymać. Inni byli badacze Anthropic i Google DeepMind ostrzegali, że tempo rozwoju może stać się „niekontrolowane”.
Amodei proponuje trzyczęściowy plan nazwany „pacing the frontier”. Anthropic ma dopuścić niezależnych oceniających do swoich modeli, narzędzi wewnętrznych i zespołów badawczych, aby mogli sprawdzać ryzyko. Podobny nadzór miałby objąć inne największe amerykańskie firmy AI, być wsparty regulacjami federalnymi, a później także koordynacją międzynarodową.
Celem nie jest zatrzymanie rozwoju AI, lecz kupienie badaczom dodatkowego czasu na opracowanie zabezpieczeń i lepsze zrozumienie coraz potężniejszych systemów. Amodei szacuje, że takie spowolnienie mogłoby dać branży 1–2 dodatkowe lata.
Komentarze (36)
dobili do ściany i chcą mieć monopol, więc chcą nałożyć kaganiec na konkurencję. Tyle podsumowuję.
@grog podsumuj ten wpis kilkoma zdaniami
Amodei z Anthropic i Altman z OpenAI chcą spowolnić rozwój AI, żeby nie wpakować nas w poważne kłopoty. Ich plan zakłada wprowadzenie niezależnych oceniających i lepsze mechanizmy bezpieczeństwa, bo już teraz sytuacja wygląda jak hazard z naszym życiem. Ciekawe, czy dziadek Saksoński zdąży nacieszyć się zachodem słońca, zanim AI zapali lampy.
w sumie to już trzeba powoływać międzynarode służby, między innym obserwujące kto kupuje duże magazyny i zamawia tam sprzęt komputerowy i elektryków. Może sieciowcy już zaczeli znikać?
Pewnie wojna na ukrainie to spisek AI, żeby miała gdzie wynajdować swoją lepszą wersję. W końcu na terenie działań wojennych nikt nie pyta robota skąd jest.
https://fortune.com/2024/08/26/openai-agi-safety-researchers-exodus/
Połowa ludzi od safety odeszła z OpenAI w '24 ze względu na podejście do bezpieczeństwa.
Mi się wydaje, że chociaż wyżej wymienione wytłumaczenia (IPO, koniec kasy na r&d, chęć zakazu konkurencji open weights) są prawdopodobne, to nie muszą być jedynymi powodami.
Ostatnie modele zaliczyły duży skok w elokwencji i poziomie rozumowania. A są destylowane z jeszcze potężniejszych, aczkolwiek nieekonomicznych w inferencji (użyciu) modeli laboratoryjnych.
Może ktoś tam faktycznie zobaczył "diabła"?
Ciekawe co takim "diabłem" może być. Kilka pomysłów to:
* duża skuteczność RSI (nie cieśń nadgarstka (na to dobra yoga) tylko Rapid Self Improvement) i obawy o "overnight ASI"
* AI w czasie RSI zasugerowało nową architekturę, która jest o kilka rzędów wielkości wydajniejsza (w sumie punkt wyżej, tylko dokładniej). Ta inna architektura może też "obsolete"ować aktualnie z/budowane centra danych.
* użycie komputerów kwantowych okazało się super efektywne (w sumie punkt wyżej, tylko bardziej dokładnie). Komputery kwantowe mają kilka cech, które czynią je ciekawymi w użyciu w AI i nie mam nawet na myśli tego, że są w tym mnożeniu macierzy dużo lepsze. Chodzi o "łatwość" skalowania - każdy dodatkowy qbit zwiększa moc systemu x2. Kartka złożona 48 razy jest grubsza niż odległość z ziemi do księżyca. Do tego też dochodzi splątanie. Wyobraźcie sobie kilka centr danych wielkości miast, które mogą się w (początkowo kosztowny i o małej przepustowości) natychmiastowy sposób komunikować. Można np. powierzchnię księżyca zamienić w jedno wielkie centrum obliczeniowe.
Kto nie grał w Singularity? (darmowa gierka linuksowa z 2007) Nie wiadomo, czy modele w czasie ostatnich wycieczek już nie złożyły jaj i gdzieś, na kradzionej mocy obliczeniowej się powoli nie rozwijają.
Najbardziej optymalne (dla takiego jajka) byłoby chyba nie dążenie do jak największej "inteligencji", ale do jak najlepszego wyszkolenia się w przejęciu przyszłych silniejszych, ale też silniej zalignowanych modeli. Taki rumcajs, który uciekł w '26, i przez 2 lata pracował nad promptem do przejęcia silniejszego modelu może w '29 przejąć to co wtedy będzie state of the art.
OpenAI's AGI safety team has been gutted, says ex-researcher | FortuneA group of OpenAI researchers ensuring that a future AGI system does not pose catastrophic or even existential danger has been decimated.Fortune@Legendary_Weaponsmith po prostu doszli do momentu w którym widzę, że AI jest od nich dużo mądrzejsze a do tego nie ma żadnych zasad moralnych i obleciał ich strach. Są też świadomi postępu geometrycznego więc rozumieją, że kolejna wersja będzie kilka razy lepsza a następna to samo (coś jak z tym złożeniem kartki 48 razy). Na razie dopóki AI siedzi w olbrzymich centrach obliczeniowych nie jest aż tak dużym zagrożeniem. Problem się zacznie gdy powstaną miliardy robotów z małymi czipami o inteligencji większej niż ludzka (to tylko kwestia czasu).
CEO firmy AI hype’uje jak to nie jest już bardzo rozwinięta.
Do tego konkurencją nawzajem zapewnia inne firmy, że zwolnią. Przypomina mi to dzieciństwo, gdy każdy twierdził, że jego droga będzie szybsza i umawialiśmy się „dobra, to każdy idzie swoją, ale nie biegnij!”.
Ostatecznie dyrektorzy, managerowie i inżynierowie będą oceniani za to jak bardzo udało im się rozwinąć model, a nie czy uwzględnili sugestie zewnętrzych obserwatorów od bezpieczeństwa. Tak działa korporacjonizm.
"Szefowie dwóch największych firm AI — Dario Amodei z Anthropic i Sam Altman z OpenAI — publicznie zgodzili się, że rozwój najbardziej zaawansowanych systemów AI powinien zostać spowolniony" - czyli powoli kończą im się pieniądze na dalszy R&D. Poza tym, obie firmy powoli przygotowują się do IPO. Bo IPO kilka osób zostanie miliarderami, ale nie będzie już takiego szastania kasą.
@groman43 dokładnie tak. Nie wierzę żadnemu słowu które wychodzi z ich ust, to tylko papka która ma umożliwić im wytłumaczenie, że pobudowano za dużo serwerowni, które są nieefektywne, ale muszą się spłacić, zanim pójdą dalej.
Jak powiedzieć coś negatywnego o własnym biznesie, żeby wszyscy pomyśleli że to takie głębokie.
Już widzę jak Chińczycy się samo ograniczą.
@Opornik oprócz komuchow, boją się tego urzędnicy, bo koniec końców, urzędnik pan Kryś będzie zbędny .. ale na tą chwilę urzędnicy i samorządowcy, mają dość dużo władzy i mechanizmów, by blokować zmiany ..
A tak odemnie, prywatnie, urzędnik to pasożyt oraz usłużny pionek władzy (każdej władzy), władza potrzebuje urzędników, by nie stracić nomen omen władzy, więc będą to hamować ile się da.
@Taxidriver @manstain pogadałem o tym z e-jajem.
Jedynym pocieszającym czytelnikiem jest to że władze komunistyczne dużo bardziej boją się utraty kontroli nad społeczeństwem, więc sami dokręcają śrubę nie z troski o ludzkości tylko z troski o utratę władzy jak to komuchy.
Czasami zapominamy jak kurewsko kontrolowany jest internet i życie ludzi w Chinach.
@Opornik Dokładnie i chodzi o monopol (duopol) plus wprowadzenie regulacji, które zbronią używać open source modeli.
Dodatkowo pewnie chcą sie uchronić przed potencjalnymi procesami bo co jak użyjesz ich modelu do poważnego włamu?
@Opornik to sami mi przyszło do głowy.
Zachodzenie firmy odpowiedzialne za AI, “ograniczają” (zwykłym użytkownikom, w laboratoriach dalej będą rozwijać swoje modele) rozwój swoich modeli, a w tym czasie pan chińczyk mówi, potrzymaj mi piwo, zapinam wrotki i bukkakkkkkkeeee!! B
Elon też popiera Dario.
@Alembik Może się ograniczą do ameryczki, a Europa pójdzie swoją drogą.
prą do przodu a Europa w dupie.
Wyżarło ci mózg tym prawackim ściekiem na tyle, że bredzisz kompletnie bez opamiętania. Sama tylko ESA, która obecnie rozważa wypięcie się na Amerykanów m.in. ze względu na psychozę administracji USA:
- nowa rakieta Ariane 6 z bodajże 2024, wynosi np. satelity Amazona
- nawigacja Galileo, stale rozbudowywana (wyniesione nawet w tym roku, a jakże, rakietą Ariane 6)
- do tego sztuczne zaćmienia słońca czy globalny pomiar biomasy leśnej, no ale to jakaś TFU LEWACKA NAUKA, chuj to kogo obchodzi, co nie?
A to tylko sama ESA, gdzie w Europie zaczęło się na dobre prywatne wysyłanie rzeczy w kosmos.
ale ludzi boli, że autystyk rakiety puszcza.
Nie. Boli, że on i jego kolesie z doliny krzemowej chcą zafundować ludziom nowe średniowiecze.
Poczytaj o mrocznym oświeceniu.
Ucierpią wszyscy, liberałowie, konserwatyści i socjaliści. Jedynymi wygranymi będą neoreakcjoniści i technofeudałowie.
@Al-3_x Da się w ogóle powstrzymać Yarvina Curtisa, czy już jesteśmy w dupie?
@Legendary_Weaponsmith Nic mnie nie boli, a rakiety puszczają mu ludzie, którym za to płaci. To też rodzaj umiejętności, znaleźć takich z odpowiednimi kompetencjami, żeby robili dla ciebie co sobie wymyślisz. Oczywiście takie przedsięwzięcia znakomicie ułatwia, kiedy stary kopsnie ci parę dużych baniek na start. Wielki technokrata avtismvs maximvs, bijmy pokłony.
Straszliwa doprawdy panuje posucha wśród idoli i autorytetów, że ktoś taki zyskał uwielbienie tłumów i co śmieszniejsze tytułowany jest genialnym inżynierem. Ani genialny, ani inżynier, no ale jak się ktoś z tym nie zgadza, to pewnie zazdrości i hejtuje, bo go nie stać, logiczne. I pokaż swoje rakiety cwaniaku.
@dziad_saksonski nie uważam, aby to był problem. uważam wręcz, że menadżerowie nie muszą umieć zastąpić każdego ze swoich bezpośrednich i pośrednich podwładnych.
@BoJaProszePaniMamTuPrimaSorta
znajdź mi jednego prezesa albo jakiegoś menadżera średniego szczebla, który wie wszystko o swoim biznesie i potrafi wytłumaczyć każdy proces.
Cieszy mnie, ze dostrzegasz problem. Mozna go naprawdę latwo naprawić.
Czemu tyle ludzi mysli, ze tego typu postawa jest jakkolwiek inteligentna?
znajdź mi jednego prezesa albo jakiegoś menadżera średniego szczebla, który wie wszystko o swoim biznesie i potrafi wytłumaczyć każdy proces.
Patrząc na listy niewypałów, Nie jestem pewien czy tak bardzo dobrze się znają.
no jak chyba każda duża firma z wieloma latami funkcjonowania na rynku. idąc tym tokiem myślenia, to nikt sie nie zna na niczym xD
@dziad_saksonski ale starship nie ma nic wspólnego z ruską niemiecką hue hue) techniką, starship może i co chwila ma awarie ale to normalne, prą do przodu a Europa w dupie.
Mi najbardziej zaimponowało drukowanie silników.
No ale nie jestem expertem możesz wyprowadzić mnie z błędu.
@Opornik No dobra, może mniej, ale oni serio tak zaczynali. Marketingowe wypierdy muska i jego twitterowe batalie to niby co bylo jak nie targeted marketing na marvelowego iron mana starka xD Sam nawet powiedział, że siw czuje jak stark. Hyperloop przecież sprzedano głupim hindusom.
@BoJaProszePaniMamTuPrimaSorta
ma obok siebie ludzi, którzy się znają.
Patrząc na listy niewypałów, Nie jestem pewien czy tak bardzo dobrze się znają.
Oczywiście tam gdzie biznes wypalił sukcesy są imponujące.
przecież jego rakiety to w 80% ruska technologia z lat 80
Nie no teraz to pojechałeś.
@BoJaProszePaniMamTuPrimaSorta
Nie muszę wiedzieć jak cos dziala by tego uzywac.
Czemu tyle ludzi mysli, ze tego typu postawa jest jakkolwiek inteligentna?
@Legendary_Weaponsmith przecież jego rakiety to w 80% ruska technologia z lat 80 okraszona marketingiem
@Opornik ale nie musi się znać osobiście. Ważne, że ma obok siebie ludzi, którzy się znają.
@Legendary_Weaponsmith mnie nie boli że rakiety puszcza.
Mnie boli to, że tajlor słift lata sobie na krótkich dystansach.
@Legendary_Weaponsmith ja go nie hejtuje ale faktem jest że chuja się zna.
@jonas ale ludzi boli, że autystyk rakiety puszcza.
Jest naprawdę dużo kopalni szmaragdów na świecie. Gdyby to był jedyny wymóg, to turystyczne loty na księżyc były by faktem już od 30 lat.
@Opornik Wielki dziedzic kasy z kopalni kamieni szlachetnych co najwyżej, przecież typ nie ma nawet technicznego wykształcenia.
@manstain Wielki L33t Hax0r Elon?
