Tento příběh se původně objevil v The Algorithm, našem týdenním zpravodaji o AI. Chcete-li takové příběhy dostávat do doručené pošty jako první, zaregistrujte se zde.

Zdá se, že ve výzkumu AI si každý myslí, že větší je lepší. Myšlenka je taková, že více dat, větší výpočetní výkon a více parametrů povedou k výkonnějším modelům. Toto uvažování začalo přelomovým dokumentem z roku 2017, ve kterém výzkumníci Google představili architekturu transformátoru, která je základem dnešního boomu jazykových modelů, a pomohli začlenit do komunity umělé inteligence přístup „měřítko je vše, co potřebujete“. Dnes se zdá, že velké technologické společnosti soutěží o rozsah nade vše ostatní.

“Je to jako, jak velký je tvůj model, brácho?” říká Sasha Luccioni, vedoucí AI a klimatu v AI startupu Hugging Face. Technické společnosti jen přidávají další miliardy parametrů, což znamená, že průměrný člověk by si nemohl stáhnout modely a pohrát si s nimi, i když byly open-source (což většinou nejsou). Dnešní modely umělé inteligence jsou prostě „příliš velké,“ říká.

S měřítkem přichází řada problémů, jako napřinvazivní postupy shromažďování data materiál o sexuálním zneužívání dětí v souborech datjak uvádí Luccioni a spoluautoři v anový papír. Aby toho nebylo málo, větší modely mají také mnohem větší uhlíkovou stopu, protože vyžadují více energie k provozu.

Dalším problémem, který měřítko přináší, je extrémní koncentrace mociříká Luccioni. Rozšiřování stojí spoustu peněz a pouze elitní výzkumníci pracující v Big Tech mají zdroje na vytváření a provozování takových modelů.

„Je tu toto úzké místo, které vytváří velmi malý počet bohatých a mocných společností, které používají AI jako součást svého hlavního produktu,“ říká.

Nemusí to tak být.Právě jsem publikoval příběh o novém multimodálním velkém jazykovém modelu, který je malý, ale mocný. Výzkumníci z Allen Institute for Artificial Intelligence (Ai2) vytvořili open-source rodinu modelů nazvanou Molmo, které dosahují působivého výkonu se zlomkem zdrojů použitých k sestavení nejmodernějších modelů.

Organizace tvrdí, že její největší model Molmo, který má 72 miliard parametrů, překonává OpenAI GPT-4o, který má podle odhadů přes bilion parametrů, v testech, které měří věci, jako je porozumění obrázkům, grafům a dokumentům.

Mezitím Ai2 říká, že menší model Molmo se 7 miliardami parametrů se výkonem blíží nejmodernějšímu modelu OpenAI, což je úspěch, který připisuje mnohem efektivnějšímu sběru dat a metodám školení.Přečtěte si o tom více ode mě zde. Molmo ukazuje, že nepotřebujeme masivní soubory dat a masivní modely, které vyžadují spoustu peněz a energie na trénink.

Vymanit se z myšlení „měřítko je vše, co potřebujete“ bylo jednou z největších výzev pro výzkumníky, kteří Molmo postavili, říká Ani Kembhavi, hlavní ředitelka výzkumu v Ai2.

„Když jsme s tímto projektem začínali, říkali jsme si, že musíme myslet úplně mimo krabici, protože musí existovat lepší způsob, jak trénovat modely,“ říká. Tým chtěl dokázat, že otevřené modely mohou být stejně výkonné jako uzavřené, proprietární, a to od nich vyžadovalo, aby vytvořili modely, které jsou přístupné a jejich trénování nestojí miliony dolarů.

Molmo ukazuje, že „méně je více, malé je velké, otevřené [is as good as] zavřeno,“ říká Kembhavi.

Existuje další dobrý případ pro zmenšení.Větší modely bývají schopny dělat širší škálu věcí, než koncoví uživatelé skutečně potřebují, říká Luccioni.

„Většinou nepotřebujete model, který umí všechno. Potřebujete model, který dělá konkrétní úkol, který chcete, aby dělal. A proto nejsou větší modely nutně lepší,“ říká.

Místo toho musíme změnit způsoby měření výkonu umělé inteligence, abychom se soustředili na věci, na kterých skutečně záležíříká Luccioni. Například v algoritmu detekce rakoviny bychom místo použití modelu, který umí všemožné věci a je trénovaný na internetu, možná měli upřednostňovat faktory, jako je přesnost, soukromí nebo zda je model trénován na datech, která může věřit, říká.

To by ale vyžadovalo vyšší úroveň transparentnosti, než je v současné době v AI normou. Výzkumníci ve skutečnosti nevědí, jak a proč jejich modely dělají to, co dělají, a dokonce ani pořádně nerozumí tomu, co je součástí jejich datových souborů. Škálování je oblíbená technika, protože výzkumníci zjistili, že házení více věcí na modely zřejmě vede k lepším výkonům. Výzkumná komunita a společnosti musí změnit pobídky, aby se od technologických společností vyžadovalo, aby byly ohleduplnější a transparentnější ohledně toho, co je součástí jejich modelů, a pomáhaly nám dělat více s méně.

“Nemusíš předpokládat [AI models] jsou kouzelnou skříňkou a vyřeší všechny vaše problémy,“ říká.

Nyní si přečtěte zbytek Algoritmu

Hlubší učení

Editor scénářů AI by mohl pomoci rozhodnout, jaké filmy se v Hollywoodu natočí

Každý den po celém Hollywoodu četlo mnoho lidí scénáře jménem studií a snažili se najít neopracované diamanty mezi mnoha tisíci zaslanými každý rok. Každý skript má až 150 stránek a jeho přečtení a napsání shrnutí může trvat půl dne. Vzhledem k tomu, že se v daném roce prodá jen asi 50 těchto skriptů, jsou čtenáři vycvičeni k nemilosrdnosti.

Světla, kamera, AI:Technologická společnost Cinelytic, která spolupracuje s velkými studii, jako jsou Warner Bros a Sony Pictures, se nyní snaží nabídnout zpětnou vazbu ke scénáři pomocí generativní umělé inteligence. Spustila nový nástroj s názvem Callaia, který analyzuje skripty. Pomocí umělé inteligence trvá Callaia méně než minutu, než napíše vlastní „pokrytí“, které zahrnuje synopsi, seznam srovnatelných filmů, hodnocení oblastí, jako jsou dialogy a originalita, a doporučení herců.Přečtěte si více od Jamese O’Donnella zde.

Bity a bajty

Kalifornský guvernér vetoval rozsáhlou státní legislativu týkající se umělé inteligence
Guvernér Gavin Newsom vetoval SB 1047, návrh zákona, který vyžadoval testování bezpečnosti velkých systémů umělé inteligence před nasazením, a dal státnímu zástupci státu právo žalovat společnosti s umělou inteligencí za vážnou újmu. Řekl, že si myslí, že návrh zákona se příliš zaměřuje na největší modely, aniž by zvažoval širší škody a rizika. Kritici rychlého růstu AI vyjádřili zděšení nad rozhodnutím. (The New York Times)

Je nám líto, AI „neopraví“ klimatické změny
Generální ředitel OpenAI Sam Altman tvrdí, že AI přinese „věk inteligence“, uvolní „nepředstavitelnou“ prosperitu a „ohromující triumfy“, jako je „oprava klimatu“. Samotné technologické objevy však globální oteplování nevyřeší. Ve skutečnosti, jak to je, AI dělá problém mnohem horší. (MIT Technology Review)

Jak přeměna OpenAI na skutečný byznys bourá
V dalším organizačním otřesu startup ztratil svou CTO Miru Murati a další vedoucí představitele. OpenAI je protkaná chaosem, který pramení z snahy jejího generálního ředitele přeměnit ji z neziskové výzkumné laboratoře na ziskovou organizaci. Zasvěcení říkají, že tento posun „poškodil“ kulturu společnosti. (Wall Street Journal)

Proč Microsoft uzavřel dohodu, která pomůže restartovat Three Mile Island
Kdysi uzavřená jaderná elektrárna by mohla být brzy použita k pohonu masivních investic Microsoftu do vývoje AI. (MIT Technology Review)

OpenAI uvolnila svůj pokročilý hlasový režim pro více lidí. Zde je návod, jak to získat.
Společnost tvrdí, že aktualizovaná verze reaguje na vaše emoce a tón hlasu a umožňuje vám přerušit ji střední větou. (MIT Technology Review)

FTC zasahuje proti podvodům s umělou inteligencí
Agentura spustila „Operation AI Comply“ a říká, že bude vyšetřovat podvody s umělou inteligencí a další typy podvodů, jako jsou chatboti poskytující „právní rady“, nástroje AI, které lidem umožňují vytvářet falešné online recenze, a falešná tvrzení o obrovských výdělcích z AI. – silné obchodní příležitosti.
(FTC)

Chcete AI, která nahlásí nenávistný obsah? Postavte to.
Nová soutěž slibuje odměny 10 000 dolarů každému, kdo může sledovat nenávistné obrázky online. (MIT Technology Review)

Source link