רוח בעצים, גלים שמתנפצים על החוף, ודמות שפונה אליכם ומגיבה למה שעשיתם. ב-27 באוקטובר הציגה Google DeepMind את Genie 4, מודל עולם שבונה סביבה אינטראקטיבית בזמן אמת ומייצר לה גם קול. לפי החברה, זה מודל העולם הראשון שלה שפועל בזמן אמת ומייצר שמע באופן מובנה. בינתיים הוא פתוח רק לקבוצה קטנה של בודקים.
מה Genie 4 יודע לעשות?
Genie 4 מייצר עולם וירטואלי ריאליסטי במיוחד. מסתובבים בו עם המקלדת ומשנים אותו בזמן אמת בהוראות כתובות: מזיזים מצלמה, משנים מזג אוויר או מכניסים אדם או חפץ חדש. לפי DeepMind, הוא מדמה פיזיקה כמו זרימת אוויר והתנגשויות, ודמויות שזזות, מגיבות ומדברות באופן טבעי יותר מבעבר.
מאחורי הקלעים עובדים כמה מודלים יחד. Gemini Omni דואג שהעולם ייראה ויתנהג כמו המציאות. Gemini 3.8 Flash משמש כמעין במאי: הוא צופה בפריימים, מפרק מטרה לשלבים ובודק שכל שלב הצליח. אם אתם מתערבים באמצע, הוא משנה את התוכנית. בהדגמה אחת, Gemini 4 Argon ו-Genie 4 מדמים יחד את הרובוט ההומנואידי Apollo של Apptronik כשהוא משחק דמקה. מי שרוצה רקע על משפחת המודלים של גוגל ימצא אותו במדריך Gemini שלנו.
במה Genie 4 שונה מ-Genie 3, מ-Sora ומ-Kling?
Genie 3 כבר ייצר עולמות שאפשר לשוטט בהם בזמן אמת, אבל לפי DeepMind רק Genie 4 מייצר להם גם שמע: רעשי רקע, מוזיקה ודיאלוג של הדמויות. מחוללי וידאו כמו Sora של OpenAI ו-Kling מייצרים קטע מוגמר שצופים בו מההתחלה ועד הסוף. ב-Genie 4 אתם בתוך הסצנה, ומה שתעשו ישנה את מה שיקרה בהמשך. מי שרוצה להבין איך מחוללי הווידאו עובדים ימצא הסבר בכתבה שלנו על מודלי Text-to-Video, ועל הגרסה הקודמת אפשר לקרוא בכתבה על Genie 3.
מי משתמש בזה עכשיו?
DeepMind מספרת על בודקים מכמה תחומים. במאים נכנסים לסצנה חיה ומריצים כמה "טייקים", עם זווית, תאורה ודיאלוג שמשתנים תוך כדי. צלמי עיתונות בודקים איך תמונת ארכיון אחת הופכת בתוך שניות לסימולציה של המקום. מפתחי משחקים עוברים מרעיון לאב-טיפוס שאפשר לשוטט בו, עוד לפני שכתבו שורת קוד. והמטרה הגדולה, לפי החברה, היא סביבות אימון בטוחות לרובוטים ולסוכני AI.
מה עדיין לא עובד ב-Genie 4?
לא מעט, וגוגל כותבת את זה בעצמה. בסשנים ארוכים, אחרי הרבה שינויים בפרומפט או כשמתרחקים בתוך הסצנה, פרטים וחפצים עלולים להשתנות או לזוז ממקומם. גם פיזיקה מורכבת, דיוק השמע בזמן אמת, טקסט קריא ועקביות לאורך זמן מופיעים ברשימת הבעיות הפתוחות שלה. כל הווידאו והשמע שהמודל מייצר יסומנו ב-SynthID, סימן המים הבלתי נראה של גוגל.
כל הסרטונים שפורסמו הם הדגמות שגוגל בחרה בעצמה. בדיקה עצמאית של Genie 4 עוד לא פורסמה.
מתי Genie 4 יגיע לישראל?
אין תאריך. Genie 4 נמצא בתצוגת מחקר לבודקים מורשים, ולפי גוגל יגיע "בקרוב" למנויי Google AI Ultra דרך Project Genie, ולשותפי גישה מוקדמת ב-Gemini API וב-Google AI Studio. לפי דף התמיכה של גוגל, נכון ל-28 באוקטובר, מסלול Ultra זמין בישראל. החברה לא אמרה אם הדיאלוג יעבוד בעברית.
השורה התחתונה
Genie 4 הוא עדיין ניסוי מחקרי ולא מוצר. אבל עולם שנבנה, נשמע ומגיב לכם בזמן אמת הוא צעד ממשי מעבר למחוללי הווידאו הרגילים. אפשר כבר עכשיו להצטרף לרשימת ההמתנה של Project Genie דרך דף ההכרזה של DeepMind, ובאותו דף לצפות בהדגמות. הפעילו סאונד ושפטו בעצמכם.
