Meta spouští Llama 3, model umělé inteligence schopný generovat obrázky v reálném čase na WhatsApp

Dnes (18/4) meta oznámila první dva modely příští generace Llamy, the Meta lama 3, připravené ke komplexnímu použití. Tato nová verze obsahuje předtrénované a vyladěné jazykové modely s parametry 8B e 70B, schopný uspokojit širokou škálu potřeb. V souladu s tradicí podpory open source komunity vytvořila Meta Llama 3 pro komunitu. To také znamená, že Meta AI, umělá inteligence přítomná na sociálních sítích společnosti, bude také vylepšena, včetně možnosti vytvářet obrázky v reálném čase v WhatsApp. Vidět víc!

Seznamte se s lamou 3

S Llama 3 společnost hodlá vyvinout otevřené modely, které budou konkurovat nejlepším proprietárním jazykovým modelům, které jsou v současnosti k dispozici, jako je tomu v případě GPT-4. Podle Meta byla upřednostněna zpětná vazba od vývojářů, aby se zlepšila celková použitelnost Llama 3, “zachování závazku vést v odpovědném používání a implementaci velkých jazykových modelů (LLM)".

Dodržování zásad otevřený kód, byl přijat přístup brzkého a častého vydávání, který komunitě umožnil přístup a přispíval k vývoji těchto modelů v reálném čase. Dnes představené textové šablony jsou jen prvními v řadě Llama 3 Vize budoucnosti dále zahrnuje rozšíření Llama 3 tak, aby nabízela vícejazyčnou a multimodální podporu, rozšiřovala možnosti kontextu a neustále zlepšovala výkon ve všech klíčových aspektech. LLM, jako je uvažování a kódování.

V souladu s designovým přístupem v Llama 3, Meta se rozhodla pro architekturu transformátoru pouze dekodér, což je výchozí volba. Llama 3 využívá tokenizaci s rozšířenou slovní zásobou 128 tisíc žetonů, což vede k efektivnějšímu kódování jazyků a následně k lepšímu výkonu modelu. Pro optimalizaci efektivity odvození modelů Llama 3 společnost začlenila techniku ​​klastrového dotazu (GQA) ve dvou různých velikostech: 8B a 70B. Během školení mají použité sekvence délku 8.192 XNUMX tokenů a je použita maska, která zajistí, že sebepozornost zůstane v rámci hranic dokumentu.

Chcete-li trénovat nejlepší jazykový model, je nezbytné mít velký, vysoce kvalitní soubor trénovacích dat. V souladu s našimi principy návrhu jsme značně investovali do předtréninkových dat pro Llama 3. Tento model je předtrénován na více než 15 bilionů tokenů, vše z veřejně dostupných zdrojů. Naše tréninková datová sada je sedmkrát větší než ta používaná pro Llama 2 a obsahuje čtyřikrát více kódu.

V rámci přípravy na budoucí vícejazyčné případy použití obsahuje více než 5 % datové sady pro předškolení Llama 3 vysoce kvalitní data v jiných jazycích než v angličtině, pokrývající více než 30 jazyků. Meta však neočekává, že v těchto jazycích dosáhne stejné úrovně výkonu jako v angličtině.

Aby bylo zajištěno, že Llama 3 bude trénována s daty nejvyšší kvality, byla vyvinuta řada kanálů pro filtrování dat. Tato potrubí zahrnují použití heuristické filtry, filtry pro nevhodný obsah, techniky sémantické deduplikace a textové klasifikátory pro hodnocení kvality dat. Předchozí verze Llama jsou účinné v kvalitní identifikace dat, pak byla Llama 2 použita ke generování trénovacích dat pro klasifikátory kvality textu, které krmí Llamu 3.

Kromě toho Meta dokonce použila experimenty, aby určila nejlepší způsoby, jak sloučit data z různých zdrojů do konečné datové sady před tréninkem. Tyto experimenty nám umožnily vybrat kombinaci dat, která zajišťuje, že Llama 3 funguje dobře v různých případech použití, včetně triviální otázky, ZASTAVIT (věda, technologie, inženýrství a matematika), kodifikace, historické znalosti, mimo jiné.

Srovnání s Llamou 2

nové modely Llama 3, s parametry 8B a 70B, představují pokrok ve vztahu k Llama 2, která nastavuje nový standard pro modely LLM v těchto měřítcích. Meta tvrdí, že díky zlepšení jak předtréninku, tak po tréninku jsou v současné době nespornými lídry na škále parametrů 8B a 70B modely předtrénované a vyladěné výukou.

Optimalizace postupů po školení vedly k a snížení míry chybných odmítnutí, navíc ke zlepšení zarovnání a zvýšení rozmanitosti v modelových odpovědích. Významná vylepšení byla také pozorována u funkcí, jako je uvažování, generování kódu a budoucí pokyny, díky čemuž je Llama 3 ještě přizpůsobivější a cílenější.

Během vývoje Llama 3 došlo k analýze výkonu modelu, a to jak ve standardních benchmarcích, tak v reálných scénářích. Pro zajištění efektivní optimalizace pro praktické aplikace byla vytvořena nová vysoce kvalitní sada pro lidské hodnocení. Tato sada se skládá z 1.800 12 výzev pokrývajících XNUMX hlavních případů použití, včetně žádání o radu, brainstorming, třídění, odpovídání na uzavřené otázky, kódování, kreativní psaní, extrahování, vydávání se za postavy/osoby, odpovídání na otevřené otázky, uvažování, přepisování e životopis.

Abyste se vyhnuli přepastování (nebo přepastování, nejčastěji používaný termín) náhodný modelů k této hodnotící sadě, nemají k ní přístup ani vlastní modelovací týmy Meta. Prezentovaný graf ukazuje agregované výsledky lidských hodnocení v těchto kategoriích a výzvách, srovnávající výkon Llama 3 s modely Claude Sonet, Mistral Medium e GPT-3.5.

Jak Llama 3 zlepšuje Meta AI

Vzhledem k pokroku dosaženému s Meta Llama 3 společnost oznamuje mezinárodní expanzi Meta AI – s ohledem na to, že zdroj byl exkluzivní pro Spojené státy. Meta AI, která přichází jako silný konkurent stávajících modelů, je nyní k dispozici více lidem po celém světě a umožňuje uživatelům facebook, instagramu, WhatsApp e posel Užijte si tuto bezplatnou technologii k provádění různých akcí, vytváření obsahu a přístupu k informacím v reálném čase.

Meta AI byla původně odhalena během Connect v loňském roce a nyní uživatelé v zemích jako Austrálie, Kanada, Ghana, Jamajka, Malawi, Nový Zéland, Nigérie, Pákistán, Singapur, Jižní Afrika, Uganda, Zambie e Zimbabwe může také využívat jeho výhod. V rámci rozšíření Meta AI k ní nyní budou mít lidé také přístup meta.ai, ve webové verzi.

Plánujete vyrazit v noci s přáteli? Požádejte Meta AI, aby vám doporučila restauraci s úžasným výhledem a dokonce i veganské možnosti. Pořádáte na víkend výlet? Požádejte Meta AI, aby našla pořady na sobotní večer. Připravujete se na zkoušku? Požádejte Meta AI, aby vám vysvětlila, jak fungují dědičné vlastnosti. Stěhujete se do svého prvního bytu? Požádejte Meta AI, aby si „představila“ estetiku, kterou chcete, a asistent vygeneruje nějaké inspirativní fotografie pro váš nábytek. 

Meta trochu vysvětluje, jak vám AI může pomoci

O Meta AI bude také k dispozici přímo ve funkci vyhledávání na Facebooku, Instagramu, WhatsAppu a Messengeru. To znamená, že můžete přístup k informacím z internetu v reálném čase aniž byste museli přepínat mezi aplikacemi. Představte si například, že plánujete výlet s přáteli ve skupinovém chatu v Messengeru. Pomocí vyhledávání v Messengeru můžete požádat Meta AI – poháněnou novou Llamou 3 – o vyhledání letů z vašeho výchozího bodu do vaší destinace a objevení nejpomalejších víkendů k návštěvě. A to vše samozřejmě bez nutnosti opustit aplikaci Messenger.

Lidé budou mít také možnost přistupovat k Meta AI při procházení jejich Facebook Feed. Pokud najdete příspěvek, který vás zaujme, můžete si přímo z Meta AI vyžádat další informace z tohoto příspěvku, stejně jako běžné vyhledávání Google, pouze v rámci příspěvku na Facebooku.

Meta urychluje proces zobrazování, aby lidem umožnila vytvářet obrázky z textu v reálném čase pomocí funkce Meta AI Imagine. Zavádění této funkce začalo dnes ve verzi beta, která je k dispozici na WhatsApp a na webu Meta AI ve Spojených státech. Když lidé začnou psát, okamžitě se jim zobrazí obrázek. Tento obrázek se bude vyvíjet s každým napsáním několika písmen, což vám umožní sledovat, jak Meta AI oživuje váš nápad v reálném čase.

Podle společnosti tyto generované obrázky představují a zlepšená ostrost a kvalita, která nabízí lepší možnost zahrnout text do obrázků. Kromě toho vám poskytne návrhy na vylepšení obrazu, což vám umožní pokračovat ve zdokonalování od vašeho počátečního bodu. Když najdete obrázek, jednoduše požádejte Meta AI, aby jej animovala, přizpůsobila novému formátu nebo dokonce transformovala do Gif sdílet se svými přáteli.

I když jsou tyto aktualizace specifické pro Meta AI na Facebooku, Instagramu, WhatsAppu, Messengeru a webu, je důležité si uvědomit, že Meta AI je k dispozici také ve Spojených státech pro chytré brýle. Ray-Ban Metaa brzy v Meta quest — Zařízení meta virtuální reality.

Transparentnost s otevřeným zdrojem a zabezpečením

Potenciál generativní technologie AI může skutečně zlepšit uživatelskou zkušenost s produkty Meta a širším ekosystémem. Dalším bodem, který je třeba řešit, je zajistit, aby to bylo provedeno v a odpovědný e jistě. Společnost proto přijímá opatření k posouzení a zmírnění rizik ve všech fázích vývoje a implementace AI. To zahrnuje integraci zabezpečení do procesu návrhu a vydání základního modelu Llama a také podporu vývojářského ekosystému za účelem prosazování odpovědných postupů.

Proto byl u Llamy 3 přijat systematický přístup, který integruje záruky ve všech fázích vývoje. To znamená, že kromě nabídky nástrojů, které umožňují vývojářům odpovědně implementovat modely, byla věnována zvláštní péče procesům školení a ladění.

Tento přístup nejen posiluje úsilí v oblasti odpovědné umělé inteligence, ale také odráží vizi otevřených inovací a umožňuje vývojářům bezpečně přizpůsobovat své produkty tak, aby byly přínosem pro jejich uživatele. Meta má také Průvodce odpovědným používáním, důležitý zdroj pro vývojáře, poskytující pokyny pro stavební produkty.

Jak jsme vysvětlili, když jsme vydali Llamu 2, je důležité být při navrhování těchto opatření záměrný, protože existují některá, která může efektivně implementovat pouze poskytovatel modelu, a jiná, která fungují efektivně pouze tehdy, když je implementuje vývojář jako součást jejich specifických aplikace.

Posiluje společnost

Od loňského spuštění Meta AI značka neustále vylepšuje zkušenosti v několika oblastech:

• Reakce Meta AI na politické a sociální problémy byly vylepšeny a zahrnují konkrétní pokyny pro tato témata. Cílem je nabídnout různé relevantní pohledy na téma a zároveň respektovat záměry uživatele při kladení konkrétních otázek.
• Včetně konkrétních pokynů a odpovědí, aby to bylo užitečnější, používání modelů odměn k vedení vašeho chování.
• Výkon Meta AI je hodnocen v benchmarcích a prostřednictvím testování s lidskými odborníky, které řeší všechny problémy zjištěné v probíhajícím procesu.
• Zabezpečení na úrovni požadavků a odpovědí, včetně filtrů a klasifikátorů, které zajistí, že interakce budou v souladu s pokyny a budou bezpečné.
• Nástroje pro zpětnou vazbu pro uživatele, aby mohli sdílet své zkušenosti, což nám umožňuje neustále zlepšovat výkon Meta AI.

A vy, co jste si o novince mysleli? Nemůžeme se dočkat, až se dostaneme do Brazílie, že? Řekněte nám, co jste u nás našli Komentář!

Viz také:

Fotky Google zdarma bezplatná úprava obrázků AI pro všechny uživatele.

S informacemi od: cíl [1], e .

Recenze Glaucon Vital dne 18.