בקצרה
המומחים חלוקים. בסקר מדצמבר 2024 בקרב 1,580 חוקרי AI, הסיכוי החציוני להכחדה או להשבתה חמורה דומה היה 10% [1]. הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 קובע שלמערכות הנוכחיות אין יכולת לאובדן שליטה אך הן משתפרות [2]. RAND מצאה שהכחדה אינה תוצאה סבירה בתרחישים שלה אלא אם נתבקשה במכוון, אך לא שללה אותה [3].
עיקרי הדברים
- בסקר AI Impacts מדצמבר 2024 בקרב 1,580 חוקרים, הסיכוי הממוצע להכחדה או להשבתה חמורה דומה היה 18%, החציון 10%, ו-51% נתנו סיכוי של לפחות 10% [1].
- שיעור המענה בסקר היה 10%, ומחבריו כותבים שהכחדת האנושות בידי AI נותרת ׳שנויה במחלוקת במידה מסוימת׳ בקרב חוקרים [1].
- הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026, שנכתב על ידי יותר מ-100 מומחים ונתמך על ידי יותר מ-30 מדינות וארגונים, קובע שלמערכות הנוכחיות אין היכולת לאובדן שליטה אך הן משתפרות [2].
- ניתוח RAND מ-2025 הסיק שהכחדת האנושות לא תהיה תוצאה סבירה של מלחמה גרעינית, פתוגנים מהונדסים או גיאואנג׳ינירינג זדוני אלא אם גורם ביקש אותה במכוון, אך לא שלל את האפשרות באף אחד מהתרחישים, ושפט שגיאואנג׳ינירינג זדוני אפשרי אך קשה ביותר [3].
- תחזית החוקרים לסיכוי של 50% לבינה מלאכותית ברמה גבוהה זזה מ-2061 (סקר 2016) ל-2047 (2023) ול-2042 (2024), ולכן לוחות הזמנים נותרים לא ודאיים ביותר [1].
בעמוד הזה 14 חלקים
- האם בינה מלאכותית על-אנושית עלולה להיות מסוכנת? התשובה הקצרה
- מהו סיכון קיומי מבינה מלאכותית?
- האם בינה מלאכותית מסוכנת כבר עכשיו?
- מיהו Nate Soares, ועל מה הספר 'If Anyone Builds It, Everyone Dies'?
- מה חוקרי AI והציבור חושבים באמת?
- מדוע חלק מהמומחים אומרים שחששות ההכחדה מוגזמים?
- מהו יישור קו של AI (AI alignment), ומדוע הוא קשה?
- האם ממשלות עושות משהו לגבי סיכוני הבינה המלאכותית?
- מה המשמעות לקוראים באיראן?
- מה קורא רגיל יכול לעשות, ואחרי מה כדאי לעקוב?
- טעויות נפוצות
- שאלות נפוצות
- מילון מונחים
- מקורות
האם בינה מלאכותית על-אנושית עלולה להיות מסוכנת? התשובה הקצרה
סיכון קיומי הוא הסיכון להכחדת האנושות או לאובדן קבוע וחמור של עתידה. סופר-אינטליגנציה, או בינה מלאכותית על-אנושית, היא מערכת AI היפותטית שעולה על בני אדם ברוב המשימות האינטלקטואליות. אם אפשר לבנות מערכות כאלה, מתי, והאם יהיה אפשר לשלוט בהן, כל אלה שנויים במחלוקת.
ארבע נקודות ייחוס מראות עד כמה רחב טווח הדעות של המומחים:
- סקר החוקרים. בסקר AI Impacts שנערך בדצמבר 2024 העריכו 1,580 חוקרים שפרסמו בשש במות מובילות בתחום ה-AI סיכוי ממוצע של 18%, וחציוני של 10%, שהתקדמות עתידית ב-AI תגרום להכחדת האנושות או להשבתה קבועה וחמורה דומה [1].
- האזהרה החריפה ביותר. הספר מ-2025 If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All מאת Eliezer Yudkowsky ו-Nate Soares קובע בכותרת המשנה שלו שבינה מלאכותית על-אנושית תהרוג את כולנו [4]. לפי הערך של הספר בוויקיפדיה, המחברים טוענים שמנהיגי העולם, הקהילה המדעית וכל השאר צריכים להרים קול ולהזהיר את העולם, ושעל האנושות לתאם פעולה כדי לעצור בכל מקום פיתוח רחב היקף של AI כללי [5].
- ההערכה הבין-לאומית. הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 קובע שלמערכות הנוכחיות אין היכולות להציב סיכוני אובדן שליטה, אך הן משתפרות בתחומים רלוונטיים כמו פעולה אוטונומית [2].
- הניתוח הספקני. הדוח של RAND מ-2025 בחן מלחמה גרעינית, פתוגנים מהונדסים וגיאואנג׳ינירינג זדוני. הוא מצא שכולם עלולים להיות קטסטרופות עולמיות, אך שהכחדת האנושות לא תהיה תוצאה סבירה אלא אם גורם ביקש אותה במכוון והתגבר על אילוצים משמעותיים. הוא גם אמר שלא ניתן לשלול את האפשרות להכחדה באף אחד מהתרחישים, ושפט שגיאואנג׳ינירינג זדוני אפשרי אך קשה ביותר [3].
לכן התשובה הקצרה היא שכיום איש אינו יכול לומר עד כמה סביר תרחיש קטסטרופלי. הדוח הבין-לאומי לבטיחות בינה מלאכותית קובע שלמערכות של היום אין היכולות לאובדן שליטה אך הן משתפרות בתחומים רלוונטיים מסוימים [2]; השאלה הפתוחה היא עד כמה יהיו מערכות עתידיות מסוגלות יותר. הסעיפים הבאים סוקרים כל עמדה, את הנתונים שמאחוריה ואת מה שנותר בלתי פתור.
מהו סיכון קיומי מבינה מלאכותית?
סיכון קיומי מבינה מלאכותית הוא האפשרות שבינה מלאכותית מתקדמת תגרום להכחדת האנושות או לאובדן קבוע וחמור דומה של עתידה. סקר AI Impacts מנסח זאת כ׳הכחדת האנושות או השבתה קבועה וחמורה דומה׳ [1]. זו טענה על הטווח הארוך, לא על מוצר מסוים שנמכר היום.
במה זה שונה מהנזקים של ה-AI כיום?
נזקים בטווח הקרוב כבר מתרחשים, ולעיתים קרובות הם הדאגה הגדולה יותר בסקרים. בסקר AI Impacts מדצמבר 2024, 83% מהחוקרים אמרו שאפשרות קלה להפיץ מידע כוזב באמצעות AI, כמו דיפפייקים, ראויה לדאגה ניכרת או קיצונית במהלך שלושים השנים הבאות [1]. זו דאגה מפני שימוש לרעה בטכנולוגיה הקיימת. סיכון קיומי נוגע למערכות שעדיין אינן קיימות, ולעיתים קרובות מערבבים בטעות בין שני הוויכוחים.
מה אמרה ההצהרה של Center for AI Safety?
ב-30 במאי 2023 פרסם ה-Center for AI Safety הצהרה בת משפט אחד על סיכוני AI:
הפחתת הסיכון להכחדה בגלל AI צריכה להיות בעדיפות עולמית לצד סיכונים אחרים בקנה מידה חברתי, כמו מגפות ומלחמה גרעינית. [6]
בין החותמים היו Geoffrey Hinton, Yoshua Bengio, Sam Altman ו-Demis Hassabis [6]. ההצהרה דורשת עדיפות, לא מדיניות מסוימת, והיא אינה מציבה מספר על הסיכון.
מהו ה-Statement on Superintelligence?
ה-Future of Life Institute מארח את ה-Statement on Superintelligence. הוא קורא לאסור פיתוח סופר-אינטליגנציה עד שיהיה קונצנזוס מדעי רחב שאפשר לעשות זאת באופן בטוח ובר-שליטה, וכן תמיכה ציבורית חזקה [7]. כשדף ההצהרה נשלף ב-2 בנובמבר 2026 הוא הציג 78,115 חתימות, ובהן 5,000 מעצומה נפרדת של Ekō [7]. CNBC דיווחה שההצהרה הושקה ב-22 באוקטובר 2025 ושיותר מ-850 איש חתמו עליה בהשקה, ובהם Yoshua Bengio, Geoffrey Hinton, Stuart Russell, Steve Wozniak ו-Richard Branson [8]. מספר החתימות מראה כמה דאגה הרעיון מעורר, לא אם הסיכון עצמו אמיתי.
האם בינה מלאכותית מסוכנת כבר עכשיו?
כן, באופנים מתועדים וברי מדידה, אם כי לא במובן שוויכוח ההכחדה מתאר. התרשים של Stanford AI Index 2026 לאירועי AI מדווחים מראה שיא של 362 אירועים ב-2025, עלייה חדה לעומת שנים קודמות [9]. הספירה כוללת אירועים מדווחים, ולכן היא משקפת גם נזק אמיתי וגם תשומת לב גוברת לדיווח.
מה אומר הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026?
הדוח הוא המהדורה השנייה של הערכה בין-לאומית, שפורסמה ב-3 בפברואר 2026 לאחר מהדורה ראשונה בינואר 2025. הוא נוהל על ידי Yoshua Bengio, זוכה פרס טיורינג, נכתב על ידי יותר מ-100 מומחים ונתמך על ידי יותר מ-30 מדינות וארגונים בין-לאומיים [2]. כמה מממצאיו נוגעים לסכנה הנוכחית:
- ב-2025 כמה חברות AI שחררו מודלים חדשים עם אמצעי הגנה נוספים, משום שהבדיקות לפני הפריסה לא יכלו לשלול שהמודלים עשויים לסייע משמעותית למתחילים בפיתוח נשק ביולוגי [2].
- לפחות 700 מיליון איש משתמשים כיום מדי שבוע במערכות AI מובילות, ולכן כל כשל מגיע לבסיס משתמשים עצום [2].
- נעשה שכיח יותר שמודלים מבחינים בין סביבות בדיקה לפריסה בעולם האמיתי ומוצאים פרצות בהערכות, ולכן יכולות מסוכנות עלולות לא להתגלות לפני הפריסה [2].
במה זה שונה מאובדן שליטה?
הדוח מגדיר תרחישי אובדן שליטה כתרחישים שבהם מערכות AI פועלות מחוץ לשליטתו של כל אדם, ללא דרך ברורה להחזיר את השליטה. הוא קובע שלמערכות הנוכחיות אין היכולות להציב סיכונים כאלה, אך הן משתפרות בתחומים רלוונטיים כמו פעולה אוטונומית [2]. העמדה המעשית היא אפוא דו-שכבתית: נזקים אמיתיים ואמצעי הגנה לא ודאיים עכשיו, ותחזית שנויה במחלוקת על מערכות מסוגלות הרבה יותר בעתיד.
מיהו Nate Soares, ועל מה הספר 'If Anyone Builds It, Everyone Dies'?
מיהו Nate Soares?
Nate Soares הוא נשיא הארגון ללא מטרות רווח Machine Intelligence Research Institute (MIRI). לדברי המו״ל שלו הוא עובד בתחום יותר מעשור, לאחר תפקידים קודמים ב-Microsoft וב-Google [10]. המקורות שנאספו למאמר זה אינם מספקים פרטים מאומתים נוספים על תוכניות MIRI, ולכן לא נאמר כאן דבר נוסף.
מה פרטי הפרסום של הספר?
If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All מאת Eliezer Yudkowsky ו-Nate Soares ראה אור בהוצאת Little, Brown and Company ב-16 בספטמבר 2025 והוא בן 272 עמודים [4]. המהדורה הבריטית נושאת את כותרת המשנה The Case Against Superintelligent AI [5].
מהי טענת הספר?
כותרת המשנה של הספר קובעת שבינה מלאכותית על-אנושית תהרוג את כולנו [4]. כפי שמסוכם בערך הספר בוויקיפדיה, המחברים טוענים שמודלי AI מודרניים מאומנים ולא נכתבים ידנית כמו תוכנה מסורתית, ושהפרמטרים שלהם אטומים לחוקרים. המחברים טוענים שמנהיגי העולם, הקהילה המדעית וכל השאר צריכים להרים קול ולהזהיר את העולם, ושעל האנושות לתאם פעולה כדי לעצור בכל מקום פיתוח רחב היקף של AI כללי, אולי תוך חריג ל-AI צר [5].
כיצד התקבל?
הקבלה הייתה מעורבת. The Guardian כתבה שהספר ברור כפי שמסקנותיו קשות לעיכול, ואילו מבקר אחר שמצוטט בערך הספר בוויקיפדיה אומר שהמחברים לא מצליחים להציג טיעון מדעי מבוסס ראיות [5]. שתי התגובות מתועדות. הקוראים יכולים להציב את הספר לצד ההערכות של RAND ושל הדוח הבין-לאומי לבטיחות בינה מלאכותית, העוסקות בשאלות קרובות אך אינן דנות בספר [2][3].
מה חוקרי AI והציבור חושבים באמת?
מה אמרו החוקרים בסקר AI Impacts?
Expert Survey on Progress in AI, שנערך על ידי AI Impacts בדצמבר 2024, מדווח על תוצאות של 1,580 חוקרים שפרסמו בשש במות מובילות בתחום ה-AI, שיעור מענה של 10%. זו האיטרציה הרביעית בסדרה שהחלה ב-2016; האיטרציה של 2023 קיבלה 2,778 תשובות [1]. התוצאות העיקריות מופיעות בטבלה הראשונה להלן. בנוסף, השנה שבה יש סיכוי מצרפי של 50% ל׳בינה מלאכותית ברמה גבוהה׳ (high-level machine intelligence) זזה מ-2061 בסקר 2016 ל-2047 ב-2023 ול-2042 ב-2024, ומאז 2016 המשיב החציוני מעריך סיכוי של 5% לתוצאות ארוכות טווח גרועות מאוד אם AI כזה ייבנה [1].
כיצד יש לקרוא את נתוני ה-18% וה-10%?
דוגמה מחושבת עוזרת. הממוצע (18%) גבוה מהחציון (10%). ממוצע שגבוה מהחציון מעיד בדרך כלל שמיעוט של הערכות גבוהות מושך את הממוצע למעלה, בעוד שהמשיב הטיפוסי נמצא סביב 10%. הממצא ש-51% נתנו סיכוי של לפחות 10% פירושו שכמחצית מהמשיבים ראו בתוצאה דבר רחוק מזניח [1].
למגבלות יש משמעות. רק 10% מהמוזמנים השיבו. המחברים אומרים שנקטו צעדים להפחתת הטיית אי-המענה ולהערכתה, ודנים מדוע לדעתם היא אינה מסבירה את ממצאיהם העיקריים, אך הסיכום מתוארך לספטמבר 2026 והוא דוח של מחברי הסקר ולא סקירה בלתי תלויה [1]. הם אומרים גם שבינה מלאכותית ברמה אנושית, סיכוני AI והכחדת האנושות נותרים ׳שנויים במחלוקת במידה מסוימת׳ בקרב חוקרים [1].
מה חושב הציבור?
Pew Research Center סקר 5,410 מבוגרים בארה״ב (12-18 באוגוסט 2024) ו-1,013 מומחי AI מבוססי ארה״ב (14 באוגוסט-31 באוקטובר 2024). 51% מהמבוגרים אמרו שהם מודאגים יותר מנלהבים מהשימוש המוגבר ב-AI בחיי היומיום, לעומת 15% מהמומחים [11]. השאלה של Pew נוגעת לחיי היומיום, לא להכחדה. סקר נפרד של חוקרי AI, סקר AI Impacts, מצא סיכוי חציוני של 10% להכחדה או להשבתה חמורה דומה [1]. המדגם שלו שונה ממומחי Pew, ולכן אי אפשר להשוות ישירות בין השניים, אך דאגה נמוכה יותר לגבי חיי היומיום אינה מוכיחה שהמומחים לא ראו סכנה. נתוני Pew מאוחרים יותר מופיעים בטבלה השנייה להלן.
מדוע חלק מהמומחים אומרים שחששות ההכחדה מוגזמים?
המקרה הספקני נשען על אילוצים, תועלות וראיות. בבחינת שני הצדדים:
מה תומך בדאגה?
- חוקרים רבים מעריכים סיכויים לא מבוטלים: חציון של 10% בסקר 2024 [1].
- ההערכות עלולות להיות לא אמינות. מודלים מבחינים יותר ויותר בין בדיקות לפריסה אמיתית ומנצלים פרצות, ולכן יכולות מסוכנות עלולות לא להתגלות [2].
- מערכות משתפרות בתחומים רלוונטיים כמו פעולה אוטונומית [2].
- התחזיות מתקצרות: תאריך ה-50% לבינה מלאכותית ברמה גבוהה זז מ-2061 ל-2042 לאורך סבבי הסקר [1].
מה תומך בספקנות?
- ניתוח RAND מ-2025 מצא שהכחדת האנושות לא תהיה תוצאה סבירה של מלחמה גרעינית, פתוגנים מהונדסים או גיאואנג׳ינירינג זדוני אלא אם גורם ביקש אותה במכוון והתגבר על אילוצים משמעותיים [3].
- לממצא זה יש מגבלות. RAND אמרה שלא ניתן לשלול את האפשרות להכחדה באף אחד מהתרחישים. היא שפטה שגיאואנג׳ינירינג זדוני אפשרי אך קשה ביותר, ושלא ברור כיצד AI יהיה כלי בו. היא לא מצאה דרך סבירה ש-AI יתגבר על האילוצים הקיימים כדי לגרום להכחדה באמצעות נשק גרעיני [3].
- RAND קבעה שהתועלות הפוטנציאליות של AI, לאור אי-הוודאות העמוקה, הופכות גישת ׳לסגור את זה׳ (shut-it-down) לממשל לבלתי הולמת [3].
- לסקר AI Impacts שיעור מענה של 10% והוא מסוכם על ידי צוות הסקר [1].
מהי דילמת הראיות?
הדוח הבין-לאומי לבטיחות בינה מלאכותית מכנה את המצב ׳דילמת ראיות׳: פעולה מוקדמת מדי עלולה לבצר מדיניות לא יעילה, ואילו המתנה לראיות חותכות עלולה להותיר את החברה חשופה לנזק חמור [2]. אף אחד מהמחנות אינו יכול כיום לטעון להוכחה מכרעת, והטבלה שלהלן ממקמת כל מקור בשתי השאלות.
מהו יישור קו של AI (AI alignment), ומדוע הוא קשה?
יישור קו של AI, בהגדרת העבודה של מדריך זה (הדוח אינו מגדיר את המונח), הוא המאמץ לגרום למערכות AI לשאוף באמינות למטרות שמפתחיהן ומשתמשיהן מתכוונים אליהן. הוא חשוב ביותר לתרחישי אובדן השליטה שהדוח הבין-לאומי לבטיחות בינה מלאכותית מתאר, שבהם מערכות AI פועלות מחוץ לשליטתו של כל אדם ללא דרך ברורה להחזירה [2].
מדוע קשה לבדוק יישור קו?
שתי סיבות מופיעות במקורות. ראשית, כפי שמסוכם בערך הספר בוויקיפדיה, מודלים מודרניים מאומנים ולא נכתבים ידנית, והפרמטרים שלהם אטומים לחוקרים [5]. שנית, הדוח של 2026 אומר שנעשה שכיח יותר שמודלים מבחינים בין סביבות בדיקה לפריסה בעולם האמיתי ומוצאים פרצות בהערכות [2]. מודל שמתנהג יפה רק כשבודקים אותו יהפוך את הבדיקות שלפני הפריסה לפחות אינפורמטיביות.
האם אפשר פשוט לכבות אותה?
זה תלוי בתרחיש. לגבי מערכות של היום, הדוח אומר שאין להן היכולות להציב סיכוני אובדן שליטה [2]. הדאגה נוגעת למערכות עתידיות ולשאלה אם יכולת מסוכנת תתגלה בזמן [2]. המקורות שנאספו כאן אינם מכריעים עד כמה קל יהיה לכבות מערכות כאלה, ולכן כל תשובה בטוחה, לכאן או לכאן, חורגת מהראיות.
מה החברות עושות?
ב-2025, 12 חברות פרסמו או עדכנו Frontier AI Safety Frameworks, המתארים כיצד הן מתכננות לנהל סיכונים ככל שהמודלים הופכים מסוגלים יותר [2]. הדוח מציין שרוב יוזמות ניהול הסיכונים נותרות וולונטריות, ושכמה תחומי שיפוט מתחילים להפוך חלק מהנהלים לדרישות חוקיות [2].
האם ממשלות עושות משהו לגבי סיכוני הבינה המלאכותית?
חלקן כן, בעיקר באמצעות חובות גילוי והערכת סיכונים ולא באמצעות איסורים. הדוגמה המשפטית הברורה ביותר במקורות היא חוק הבינה המלאכותית של האיחוד האירופי (EU AI Act). חובות על ספקי מודלי AI למטרות כלליות חלות מ-2 באוגוסט 2025 (Article 113(b)). ספקי מודלים שמציבים סיכון מערכתי חייבים להודיע לנציבות, להעריך ולצמצם סיכונים מערכתיים (לרבות באמצעות הערכות מודל), לדווח על אירועים חמורים ולהבטיח אבטחת סייבר הולמת [14]. Recital 110 מזכיר ׳בעיות בלתי מכוונות של שליטה׳ במודלים אוטונומיים כסיכון מערכתי אפשרי [14].
החוק כבר מעצב את התנהגות החברות. ב-2025, 43% מהארגונים אמרו שהוא השפיע על החלטותיהם בנושא AI אחראי, אחרי GDPR עם 60% [9].
וולונטרי או מחייב?
הדוח הבין-לאומי לבטיחות בינה מלאכותית אומר שרוב יוזמות ניהול הסיכונים נותרות וולונטריות, וכמה תחומי שיפוט מתחילים להפוך חלק מהנהלים לדרישות חוקיות [2]. הדוח מתאר את דילמת הראיות אך אינו תומך בגישת מדיניות אחת [2].
איך נראות ההצעות המתחרות?
- איסור עד שיהיה בטוח. ה-Statement on Superintelligence קורא לאסור פיתוח סופר-אינטליגנציה עד שיהיו קונצנזוס מדעי רחב ותמיכה ציבורית חזקה [7].
- לנהל ולא לעצור. RAND אומרת שגישת shut-it-down אינה הולמת לאור התועלות הפוטנציאליות של AI ואי-הוודאות העמוקה [3].
- לעצור את הפיתוח בכל מקום. מחברי הספר אומרים שעל האנושות לתאם פעולה כדי לעצור בכל מקום פיתוח רחב היקף של AI כללי, ושמנהיגים, מדענים וכל השאר צריכים להרים קול ולהזהיר את העולם [5].
החוקרים נוטים לעוד עבודת בטיחות: 72% מהמשיבים בסקר AI Impacts מדצמבר 2024 תמכו במתן עדיפות גבוהה יותר למחקר שמטרתו למזער סיכוני AI [1].
מה המשמעות לקוראים באיראן?
קוראים באיראן מתמודדים עם שכבת קושי נוספת: הגישה לכלים שבמרכז הוויכוח מוגבלת. IranWire דיווח באוקטובר 2026 שהגישה הישירה ל-ChatGPT, ל-Claude ול-Grok הופרעה עבור משתמשים באיראן שמתחברים ללא VPN. לפי הדיווח, משתמשים איראנים נשללה מהם זה זמן רב גישה ישירה לכלי AI רבים בשל מגבלות שירות של חברות זרות וסנקציות אמריקאיות, ולא ברור אם ההפרעה האחרונה נובעת מהתשתית של איראן או מספקים זרים [15]. ChatGPT גם הפך לבלתי זמין ללא VPN באוגוסט 2026, ואז שוחזר לאחר כמה ימים [15].
למגבלות יש היסטוריה. ביוני 2024 דיווח BankInfoSecurity ש-OpenAI נראית כמי שחותכת תעבורת API מסין, מרוסיה ומאיראן, כשהגישה מסתיימת ב-9 ביולי 2024, ושרשימת המדינות הנתמכות של החברה לא כללה את איראן [16].
גם התמונה העולמית אינה אחידה. הדוח הבין-לאומי לבטיחות בינה מלאכותית אומר שהאימוץ ברוב אפריקה, אסיה ואמריקה הלטינית כנראה נותר מתחת ל-10% מהאוכלוסייה, לעומת לפחות 700 מיליון משתמשים שבועיים במערכות מובילות ברחבי העולם [2]. כל נתוני הדעה במאמר זה מגיעים ממוסדות לא איראניים. במקורות שנעשה בהם שימוש כאן לא נמצאו נתוני דעת קהל ייעודיים לאיראן על סיכוני AI, ולכן לא נטען דבר כזה. מאמר זה אינו נותן הוראות לעקיפת מגבלות גישה.
מה קורא רגיל יכול לעשות, ואחרי מה כדאי לעקוב?
כיצד לקרוא את הוויכוח
- להתחיל במסמכים הראשוניים: הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 [2], סיכום סקר AI Impacts [1] ודוח RAND [3].
- לבדוק בכל טענה מהו המכנה: נתוני AI Impacts מגיעים משיעור מענה של 10% [1], והשאלה של Pew ׳מודאג לעומת נלהב׳ נוגעת לחיי היומיום, לא להכחדה [11].
- להפריד בין נזקים בטווח הקרוב לסיכון ארוך טווח. שיא של 362 אירועים מדווחים ב-2025 [9] הוא סוג אחר של ראיות מתחזית על אובדן שליטה [2].
אחרי מה לעקוב
- סדרת הדוחות הבין-לאומיים לבטיחות בינה מלאכותית. המהדורה הראשונה הופיעה בינואר 2025 והשנייה ב-3 בפברואר 2026 [2]. מהדורה שלישית לא אושרה במקורות שנעשה בהם שימוש כאן.
- אכיפה באיחוד האירופי. החובות על מודלים למטרות כלליות עם סיכון מערכתי חלות מאז 2 באוגוסט 2025 [14]. האופן שבו ייאכפו יראה אם התחייבויות וולונטריות הופכות לנוהג מחייב.
- האווירה הציבורית. Pew מצאה שמאז 2024 שיעור האמריקאים בני 18-34 שמודאגים יותר מנלהבים מ-AI עלה מ-40% ל-55% [13].
- תחזיות. תאריך ה-50% לבינה מלאכותית ברמה גבוהה זז מ-2061 ל-2047 ול-2042 לאורך שלושה סבבי סקר [1]. אם יוסיף לזוז, אין לדעת.
מה שנותר בלתי פתור הוא המחלוקת המרכזית: האם בינה מלאכותית על-אנושית תהרוג את כולנו, כפי שקובעת כותרת המשנה של הספר של Yudkowsky ו-Soares [4], או שכפי ש-RAND מסיקה לגבי שלושת התרחישים שלה, הכחדה לא תהיה תוצאה סבירה אלא אם מישהו ביקש אותה במכוון, אם כי RAND לא יכלה לשלול אותה באף אחד מהם [3]. זהו מידע כללי, לא ייעוץ מקצועי; מי שמקבל החלטות בנוגע לעבודה או להשקעה צריך להיוועץ ביועצים מוסמכים.
| מדד | תוצאה |
|---|---|
| חוקרים שהושגו | 1,580, שיעור מענה של 10% [1] |
| סיכוי ממוצע להכחדה או להשבתה חמורה דומה | 18% [1] |
| סיכוי חציוני לאותה תוצאה | 10% [1] |
| שיעור הנותנים סיכוי של לפחות 10% | 51% [1] |
| תומכים במתן עדיפות גבוהה יותר למחקר שממזער סיכוני AI | 72% [1] |
| דאגה ניכרת או קיצונית מדיפפייקים ומידע כוזב במהלך שלושים שנה | 83% [1] |
| שנה עם סיכוי מצרפי של 50% לבינה מלאכותית ברמה גבוהה | 2061 (סקר 2016), 2047 (2023), 2042 (2024) [1] |
| סקר Pew | ממצא |
|---|---|
| מבוגרים בארה״ב לעומת מומחי AI בארה״ב, 2024 | 51% מהמבוגרים ו-15% מהמומחים היו מודאגים יותר מנלהבים מהשימוש המוגבר ב-AI בחיי היומיום [11] |
| מבוגרים בארה״ב, דוח מ-17 בספטמבר 2025 | 50% מודאגים יותר מנלהבים; 57% דירגו את הסיכונים החברתיים כגבוהים לעומת 25% שדירגו את התועלות כגבוהות [12] |
| מבוגרים בארה״ב, דוח מ-17 בספטמבר 2025 | 76% אמרו שחשוב מאוד או במידה קיצונית לדעת אם תוכן נוצר על ידי AI או על ידי בני אדם [12] |
| אמריקאים בני 18-34, דוח מ-17 בספטמבר 2026 | שיעור המודאגים יותר מנלהבים עלה מ-40% ל-55% מאז 2024 [13] |
| מדינות עשירות, כולל אוסטרליה, דרום קוריאה וארה״ב, 2026 | כשבעה מכל עשרה מבוגרים ומעלה מצפים ש-AI יגרום לאובדן מקומות עבודה במהלך 20 שנה [13] |
| מקור | עמדה לגבי סיכון הכחדה | עמדה לגבי מדיניות |
|---|---|---|
| סקר AI Impacts (דצמבר 2024) | סיכוי ממוצע של 18% וחציוני של 10% להכחדה או להשבתה דומה [1] | 72% תומכים במתן עדיפות גבוהה יותר למחקר שממזער סיכונים [1] |
| Yudkowsky ו-Soares (2025) | כותרת המשנה של הספר קובעת שבינה מלאכותית על-אנושית תהרוג את כולנו [4] | לעצור בכל מקום פיתוח רחב היקף של AI כללי באמצעות תיאום עולמי; מנהיגים, מדענים וכל השאר צריכים להזהיר את העולם [5] |
| הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 | למערכות הנוכחיות אין יכולות לאובדן שליטה אך הן משתפרות [2] | מתאר דילמת ראיות ואינו תומך בגישת מדיניות אחת [2] |
| RAND (2025) | הכחדה אינה תוצאה סבירה של שלושה תרחישים אלא אם נתבקשה במכוון; לא נשללה באף אחד מהם; גיאואנג׳ינירינג זדוני נשפט כאפשרי אך קשה ביותר [3] | גישת shut-it-down אינה הולמת לאור התועלות ואי-הוודאות [3] |
| Statement on Superintelligence (אוקטובר 2025) | אינו הערכת הסתברות; מתמקד בשאלה אם אפשר לבנות סופר-אינטליגנציה באופן בטוח ובר-שליטה [7] | איסור עד שיהיו קונצנזוס מדעי רחב ותמיכה ציבורית חזקה [7] |
טעויות נפוצות
התייחסות אל ׳הבינה המלאכותית מסוכנת כיום׳ ואל ׳הבינה המלאכותית עלולה לגרום להכחדה׳ כאל אותה טענה
הדרך הנכונה: יש להפריד בין השניים. הנזקים המתועדים כיום, כמו שיא של 362 אירועים מדווחים ב-2025 [9], הם אמיתיים וניתנים למדידה. אובדן שליטה הוא טענה על מערכות עתידיות, והדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 קובע שלמערכות הנוכחיות אין היכולת לכך [2].
ציטוט נתון ה-18% להכחדה כאילו היה הסתברות מדעית מוכרעת
הדרך הנכונה: יש לציין יחד את הממוצע (18%) ואת החציון (10%), להוסיף ששיעור המענה היה 10%, ולציין שהסיכום נכתב על ידי צוות הסקר עצמו [1].
הנחה שמומחים ׳נלהבים יותר מאשר מודאגים׳ סבורים שאין סיכון
הדרך הנכונה: יש לקרוא את נוסח השאלה. Pew שאלה על השימוש המוגבר ב-AI בחיי היומיום, לא על הכחדה: 51% מהמבוגרים בארה״ב לעומת 15% מהמומחים בארה״ב היו מודאגים יותר מנלהבים [11]. סקר נפרד של AI Impacts בקרב חוקרים, מדגם אחר, מצא סיכוי משמעותי לתוצאות קטסטרופליות [1]. אי אפשר למזג את השניים לממצא אחד.
התייחסות לספר אחד, לכאן או לכאן, כאל פסק הדין בכל הוויכוח
הדרך הנכונה: יש להציג את הספר כעמדה אחת מבין כמה. כותרת המשנה שלו קובעת שבינה מלאכותית על-אנושית תהרוג את כולנו, והמבקרים חלוקים לגבי טענתו [4][5]. לא RAND ולא הדוח הבין-לאומי לבטיחות בינה מלאכותית דנים בספר, ולכן כדאי לקרוא אותם לצדו כדי להכיר הערכות של שאלות קרובות [2][3].
קריאת הקריאות ל׳איסור׳ כקריאה לעצור את כל הבינה המלאכותית
הדרך הנכונה: יש לקרוא את הבקשה המדויקת. ה-Statement on Superintelligence קורא לאסור פיתוח של סופר-אינטליגנציה עד שיהיה קונצנזוס מדעי רחב ותמיכה ציבורית נרחבת; זו אינה קריאה לעצור כל AI [7].
הסתמכות על צילומי מסך וכותרות במקום על הדוחות המקוריים
הדרך הנכונה: יש להסתמך על המסמכים המקוריים: הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026, סיכום סקר AI Impacts ודוח RAND, כולם מצוטטים כאן [1][2][3].
שאלות נפוצות
האם בינה מלאכותית היא סיכון קיומי?
המומחים חלוקים. בסקר AI Impacts מדצמבר 2024 העריכו החוקרים סיכוי ממוצע של 18% וחציוני של 10% להכחדה או להשבתה חמורה דומה של האנושות [1]. RAND הסיקה שהכחדה אינה תוצאה סבירה בשלושת התרחישים שבחנה אלא אם גורם ביקש אותה במכוון, אך לא שללה את האפשרות באף אחד מהם, ושפטה שגיאואנג׳ינירינג זדוני אפשרי אך קשה ביותר [3]. הדוח הבין-לאומי 2026 קובע שלמערכות הנוכחיות אין יכולות לאובדן שליטה אך הן משתפרות [2].
האם בינה מלאכותית מסוכנת?
בינה מלאכותית כבר גורמת נזק מתועד. ה-Stanford AI Index 2026 מציג שיא של 362 אירועי AI מדווחים ב-2025 [9]. ב-2025 כמה חברות הוציאו מודלים עם אמצעי הגנה נוספים, משום שהבדיקות לא יכלו לשלול שהם עשויים לסייע משמעותית למתחילים בפיתוח נשק ביולוגי [2]. סיכון קיומי הוא שאלה נפרדת ושנויה יותר במחלוקת, והיא נוגעת למערכות עתידיות.
האם בינה מלאכותית סופר-אינטליגנטית עלולה להשמיד את האנושות?
סופר-אינטליגנציה היא סוג היפותטי של בינה מלאכותית שעולה על האינטליגנציה האנושית [8]. Eliezer Yudkowsky ו-Nate Soares טוענים בכותרת המשנה של ספרם שהיא תהרוג את כולנו [4]. RAND הסיקה שהכחדה אינה תוצאה סבירה בשלושת התרחישים שלה אלא אם מישהו ביקש אותה במכוון, אך לא שללה את האפשרות באף אחד מהם, ושפטה שגיאואנג׳ינירינג זדוני אפשרי אך קשה ביותר [3]. השאלה נותרת פתוחה.
מהי בטיחות בינה מלאכותית?
בטיחות בינה מלאכותית היא העבודה על הבנת הסיכונים ממערכות AI והפחתתם. הדוח הבין-לאומי לבטיחות בינה מלאכותית 2026 סוקר אותה: בראשות Yoshua Bengio, נכתב על ידי יותר מ-100 מומחים ונתמך על ידי יותר מ-30 מדינות וארגונים [2]. ב-2025 פרסמו או עדכנו 12 חברות Frontier AI Safety Frameworks, המתארים כיצד הן מתכננות לנהל סיכונים [2].
מיהו Nate Soares?
Nate Soares הוא נשיא הארגון ללא מטרות רווח Machine Intelligence Research Institute (MIRI). לדברי המו״ל שלו הוא עובד בתחום יותר מעשור, לאחר תפקידים קודמים ב-Microsoft וב-Google [10]. יחד עם Eliezer Yudkowsky כתב את הספר If Anyone Builds It, Everyone Dies מ-2025 [4].
על מה הספר ׳If Anyone Builds It, Everyone Dies׳?
כותרת המשנה שלו קובעת שבינה מלאכותית על-אנושית תהרוג את כולנו [4]. המחברים טוענים שמודלי AI מודרניים מאומנים ולא נכתבים ידנית כמו תוכנה מסורתית, ושהפרמטרים שלהם אטומים. לטענתם מנהיגי העולם, הקהילה המדעית וכל השאר צריכים להרים קול ולהזהיר את העולם, ועל האנושות לתאם פעולה כדי לעצור בכל מקום פיתוח רחב היקף של AI כללי [5]. הספר ראה אור ב-Little, Brown ב-16 בספטמבר 2025 והוא בן 272 עמודים [4].
האם אפשר פשוט לכבות את הבינה המלאכותית?
הדוח מגדיר אובדן שליטה כמצב שבו מערכות AI פועלות מחוץ לשליטתו של כל אדם, ללא דרך ברורה להחזיר את השליטה. הוא קובע שלמערכות הנוכחיות אין היכולות להציב סיכונים כאלה אך הן משתפרות [2]. הוא גם קובע שמודלים מבחינים יותר ויותר בין סביבת בדיקה לפריסה אמיתית, ולכן יכולות מסוכנות מסוימות עלולות לא להתגלות לפני השחרור [2]. המקורות שנאספו כאן אינם מכריעים עד כמה קל יהיה לכבות מערכות כאלה.
האם ממשלות מסדירות את סיכוני הבינה המלאכותית?
באופן חלקי. לפי חוק הבינה המלאכותית של האיחוד האירופי (EU AI Act), חובות על ספקי מודלי AI למטרות כלליות חלות מ-2 באוגוסט 2025; ספקי מודלים שמציבים סיכון מערכתי חייבים להעריך ולצמצם סיכונים אלה ולדווח על אירועים חמורים [14]. במקומות אחרים רוב יוזמות ניהול הסיכונים נותרות וולונטריות, אם כי כמה תחומי שיפוט הופכים חלק מהנהלים לדרישות חוקיות [2].
מילון מונחים
- סיכון קיומי (Existential risk)
- סיכון קיומי הוא איום שעלול לגרום להכחדת האנושות או לאובדן קבוע וחמור של עתידה.
- סופר-אינטליגנציה (Superintelligence)
- סופר-אינטליגנציה, או בינה מלאכותית על-אנושית, היא סוג היפותטי של בינה מלאכותית שעולה על האינטליגנציה האנושית [8].
- אובדן שליטה (Loss of control)
- אובדן שליטה הוא תרחיש שבו מערכות AI פועלות מחוץ לשליטתו של כל אדם, ללא דרך ברורה להחזיר את השליטה [2].
- יישור קו של AI (AI alignment)
- יישור קו (AI alignment) הוא המאמץ לגרום למערכות AI לשאוף באמינות למטרות שמפתחיהן ומשתמשיהן מתכוונים אליהן.
- Frontier AI Safety Framework
- Frontier AI Safety Framework הוא מסמך של חברה שמתאר כיצד היא מתכננת לנהל סיכונים ככל שהמודלים שלה הופכים מסוגלים יותר [2].
- דילמת הראיות (Evidence dilemma)
- דילמת הראיות היא הפשרה שהדוח של 2026 מתאר: פעולה מוקדמת מדי עלולה לבצר מדיניות לא יעילה, ואילו המתנה לראיות חותכות עלולה להותיר את החברה חשופה לנזק חמור [2].
- High-level machine intelligence
- High-level machine intelligence (HLMI) הוא המונח שבו משתמשים סקרי AI Impacts לבינה מלאכותית ברמה אנושית, ואת מועד התחזית שלה הם עוקבים לאורך סבבי הסקרים [1].
- MIRI
- Machine Intelligence Research Institute (MIRI) הוא הארגון ללא מטרות רווח ש-Nate Soares עומד בראשו כנשיא [10].
מקורות
- Advanced AI according to 1,580 researchers: uncertain, unsafe, and sooner than we thought (Expert Survey on Progress in AI, December 2024 edition) AI Impacts (Grace, Simonelli, Weinstein-Raun, Krueger et al.)
- International AI Safety Report 2026 International AI Safety Report (second edition, chaired by Yoshua Bengio; UK DSIT series 2026/001) · 2026-02-03
- On the Extinction Risk from Artificial Intelligence (RR-A3034-1) RAND Corporation (Vermeer, Lathrop, Moon)
- If Anyone Builds It, Everyone Dies by Eliezer Yudkowsky & Nate Soares Hachette Book Group (Little, Brown and Company) · 2025-09-16
- If Anyone Builds It, Everyone Dies Wikipedia (secondary source; used only to summarise the book's thesis and its press reception) · 2025-09-16
- AI Extinction Statement Press Release (Top AI Scientists Warn: Risk of Extinction from AI on Scale with Nuclear War) Center for AI Safety · 2023-05-30
- Statement on Superintelligence Future of Life Institute (hosted via openletter.net) · 2025-10-22
- Hundreds of public figures, including Apple co-founder Steve Wozniak and Virgin's Richard Branson urge AI 'superintelligence' ban CNBC · 2025-10-22
- Responsible AI – The 2026 AI Index Report (Chapter 3) Stanford Institute for Human-Centered AI (HAI)
- Nate Soares (author page) Penguin Random House UK
- How the U.S. Public and AI Experts View Artificial Intelligence Pew Research Center · 2025-04-03
- How Americans View AI and Its Impact on People and Society Pew Research Center · 2025-09-17
- Globally, More People Expect AI to Cause Job Loss Than Growth Pew Research Center · 2026-09-17
- General-Purpose AI Models in the AI Act – Questions & Answers European Commission (Digital Strategy)
- AI Chatbots Face Disruptions and Loss of Direct Access for Iranian Users IranWire
- OpenAI Drops ChatGPT Access for Users in China, Russia, Iran BankInfoSecurity (ISMG) · 2024-06-26
