Statements and things to remember

Every theorem, lemma, definition, rule and trap the lecturer stated on the recordings — 613 items in lecture order. Each is phrased as a line you can write verbatim on the exam, and links to the exact moment it was said.

492 items are marked ★ — the ones the lecturer explicitly said to memorize, or returned to repeatedly.

Extracted automatically from the recording transcripts and not human-reviewed. Auto-transcription mangles Hebrew mathematical terms — verify notation against the recording before relying on it.

613 of 613 items

Lecture 1
RuleL1·1
Complexity zooms into R
חישוביות מיפתה את העולם לשלוש מחלקות — RE, coRE ו-R — וקבעה ש-R היא "הבעיות הקלות". סיבוכיות עושה זום פנימה לתוך R: מבין הבעיות שניתן להכריע, אילו ניתן להכריע ביעילות.
FoundationsComplexity classes
What was said on the recording (1)
- בתוך העולם של בעיות שאפשר לחשב אנחנו עומדים לנסות גם להבין מה אפשר לחשב באופן שהוא יעיל
  gHFjddkzJ8Y @ 00:05:24
The lecture number was inferred from recording dates, not stated in the title.
RuleL1·2
Complexity knows far less than computability
בחישוביות התשובות מוחלטות — ידענו להוכיח שבעיה אינה ב-R או אינה ב-RE. בסיבוכיות יש המון בעיות שלא יודעים לפתור ביעילות וגם לא יודעים להוכיח שאי אפשר. זו אינה חולשה של הקורס אלא מצב הידע בתחום.
FoundationsComplexity classes
What was said on the recording (1)
- בחישוביות הדברים היו מאוד מוחלטים
  gHFjddkzJ8Y @ 00:08:04
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL1·3
A machine has no running time without an input
למכונה אין מספר צעדים קבוע. זמן ומקום מוגדרים תמיד עבור זוג — מכונה $M$ וקלט $x$ ספציפי. זו טעות נפוצה.
Turing machinesTimeSpace
What was said on the recording (1)
- המכונה לא רצה סתם אין לה מספר צעדים קבוע
  gHFjddkzJ8Y @ 00:14:57
The lecture number was inferred from recording dates, not stated in the title.
RuleL1·4
Orders of magnitude, not exact counts
אפשר לספור צעדים במדויק (סדרה חשבונית וכולי), אבל מה שמעניין בקורס הוא סדר הגודל.
Asymptotics
What was said on the recording (1)
- יעניין אותנו בעיקר סדרי גודל
  gHFjddkzJ8Y @ 00:18:39
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL1·5
Efficiency is always measured against input length
סיבוכיות זמן ומקום אינה מספר אבסולוטי — היא נמדדת תמיד כפונקציה של אורך הקלט. ככל שהקלט ארוך יותר מרשים למכונה לעשות יותר.
AsymptoticsTimeSpace
What was said on the recording (1)
- תמיד אנחנו מודדים ביחס לאורך הכלת
  gHFjddkzJ8Y @ 00:19:10
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·6
Space is bounded by time
לכל מכונה $M$ וקלט $x$ : $\mathrm{SPACE}_M(x)\le \mathrm{TIME}_M(x)$ .
$\mathrm{SPACE}_M(x) \le \mathrm{TIME}_M(x)$
הוכחה: יהי $A$ קבוצת התאים ש- $M$ כתבה בהם. לכל תא ב- $A$ מתאימים את הצעד הראשון שבו נכתב; זו פונקציה חד-חד-ערכית מ- $A$ ל- $\{1,\dots,\mathrm{TIME}_M(x)\}$ , ולכן $|A|\le \mathrm{TIME}_M(x)$ . אינטואיציה: כל צעד כותב לכל היותר תא אחד, ולעיתים כותב בתא שכבר נכתב.
TimeSpaceTime vs spaceProof technique
What was said on the recording (2)
- המקום הוא לכל היותר הזמן
  gHFjddkzJ8Y @ 00:20:47
- הטענה הראשונה היא שהספיס הוא לא יכול להיות יותר גדול מהזמן
  rpPkbaTmVys @ 00:58:54
The lecture number was inferred from recording dates, not stated in the title.
ExampleL1·7
Palindromes: one tape versus two
שפת הפלינדרומים מוכרעת במכונה חד-סרטית בזמן $O(n^2)$ ובמקום $O(n)$ , ובמכונה דו-סרטית בזמן $O(n)$ (בערך $3n$ ) ובמקום $O(n)$ . זו הדוגמה הסטנדרטית לכך שריבוי סרטים משנה את הזמן ולא את המקום.
בחד-סרטית: הולכים שמאלה-ימינה-שמאלה ומוחקים/מסמנים תווים, מה שנותן $n + (n-1) + \dots = \Theta(n^2)$ . בדו-סרטית: מעבר אחד להעתקת המחרוזת לסרט השני, החזרת ראש אחד להתחלה, ואז השוואה מקבילית כשראש אחד רץ ימינה והשני שמאלה. המקום גדל פי 2 בלבד, ו- $k$ קבוע מראש ולכן נבלע ב- $O$ .
Multi-tape machinesTimeSpaceTuring machines
What was said on the recording (1)
- מכונה של אה עם שני סרטים יכולה להכריע את הבעיה עכשיו באופן משמעותי יותר
  gHFjddkzJ8Y @ 00:26:32
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·8
The price of going from k tapes to one
לכל מכונה $M$ עם $k$ סרטים קיימת מכונה סטנדרטית (חד-סרטית) $\hat M$ שקולה סמנטית, שזמנה $O(\mathrm{TIME}_M(x)\cdot \mathrm{SPACE}_M(x))$ ומקומה $O(\mathrm{SPACE}_M(x))$ . ומכיוון ש- $\mathrm{SPACE}\le\mathrm{TIME}$ , מתקבל החסם השימושי: $O\big(\mathrm{TIME}_M(x)^2\big)$ .
$\mathrm{TIME}_{\hat M}(x) = O\big(\mathrm{TIME}_M(x)^2\big),\qquad \mathrm{SPACE}_{\hat M}(x) = O\big(\mathrm{SPACE}_M(x)\big)$
השורה התחתונה שכדאי לזכור: במקום — שקילות עד כדי סדר גודל; בזמן — לכל היותר ריבוע. ההוכחה מגדילה את הא"ב כך שכל תא מחזיק $k$ -יה של תווים; האוברהד לכל צעד מסומלץ הוא סריקה של כל התאים שנכתבו כדי לאתר ולעדכן את $k$ הראשים.
Multi-tape machinesTimeSpaceModel robustness
What was said on the recording (1)
- מבחינת המקום, מבחינת סדר גודל זה שקול, מבחינת הזמן לכל היותר ריבועי
  gHFjddkzJ8Y @ 00:30:49
The lecture number was inferred from recording dates, not stated in the title.
DefinitionL1·9
The universal machine works over a binary alphabet
המכונה האוניברסלית $M_U$ מוגדרת תמיד מעל א"ב בינארי, ומקיימת: על הקידוד הבינארי של $\langle M, x\rangle$ היא מחזירה את הקידוד הבינארי של $M(x)$ . במכונת הכרעה זה פשוט: היא מקבלת אם $M$ מקבלת ודוחה אם $M$ דוחה.
Universal machineEncodingsTuring machines
What was said on the recording (1)
- האל'ב ב' שלה היה בינרי
  gHFjddkzJ8Y @ 00:33:32
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·10
Time and space of the universal machine
$\mathrm{TIME}_{M_U}(\langle M,x\rangle) = O\big(|\langle M\rangle|\cdot \mathrm{TIME}_M(x)\big)$ ו- $\mathrm{SPACE}_{M_U}(\langle M,x\rangle) = O\big(|\langle M\rangle| + \log|\Gamma_M|\cdot \mathrm{SPACE}_M(x)\big)$ .
$\mathrm{TIME}_{M_U} = O\big(|\langle M\rangle|\cdot \mathrm{TIME}_M(x)\big)$
השורה התחתונה לזכור: בזמן — כל צעד מוכפל באורך קידוד המכונה; במקום — כל תו מוכפל ב- $\log$ של גודל א"ב המכונה. שלב האתחול (העתקת $\langle M\rangle$ ו- $x$ ) נבלע בדרך כלל, בהנחה ש- $M$ קוראת את כל הקלט ולכן $\mathrm{TIME}_M(x)\ge|x|$ — אבל זו הנחה שצריך לומר בקול.
Universal machineTimeSpaceEncodings
What was said on the recording (1)
- כל הדבר הזה הוא oור של א רק התיאור של m
  gHFjddkzJ8Y @ 00:37:17
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL1·11
The standard (one-tape) universal machine
קיימת מכונה אוניברסלית סטנדרטית מעל א"ב בינארי; הרכבת שני החסמים נותנת זמן $O\big(|\langle M\rangle|^2\cdot \mathrm{TIME}_M(x)^2\big)$ ומקום שנשאר $O\big(|\langle M\rangle| + \log|\Gamma_M|\cdot \mathrm{SPACE}_M(x)\big)$ .
היא מחזירה קידוד ולא את הפלט עצמו, כי הא"ב שלה קבוע מראש (בינרי) ואילו $M$ יכולה לעבוד מעל כל א"ב. במכונת הכרעה זה לא רלוונטי — שם $M_U$ תחזיר בדיוק accept/reject.
Universal machineMulti-tape machinesTimeSpaceTuring machinesEncodings
What was said on the recording (2)
- אם אני חושב על מכונה אוניברסלית סטנדרטית
  gHFjddkzJ8Y @ 00:42:38
- היא לא יכולה להחזיר את התשובה האמיתית כי אין לה את הא'ב הזה
  rpPkbaTmVys @ 00:33:41
- הביטוי על הלוח משובש ב-ASR; הריבוע על שני הגורמים משוחזר מהחישוב שנעשה בקול.
The lecture number was inferred from recording dates, not stated in the title.
NotationRememberL1·12
"Turing machine" means the standard one-tape machine
קונבנציית הקורס: אלא אם נאמר במפורש אחרת, "מכונת טיורינג" היא המכונה הסטנדרטית עם סרט אחד, וכל המדדים נמדדים לפיה.
זו הסיבה שהמרצה טורח להחזיר כל וריאנט (רב-סרטית, אוניברסלית) בחזרה למכונה הסטנדרטית — כדי שכל ההגדרות יימדדו על אותו מודל.
Turing machinesnotationModel robustness
What was said on the recording (1)
- אלא אם כן אומר במפורש אחרת הכוונה למכונה
  gHFjddkzJ8Y @ 00:46:21
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·13
Without halting there is no time bound from space
באופן כללי אי אפשר לחסום את הזמן על ידי שום פונקציה של המקום: מכונה שמזיזה את הראש שמאלה-ימינה לנצח משתמשת במקום $2$ ובזמן אינסופי.
TimeSpaceTime vs spaceHalting
What was said on the recording (1)
- מכונה שכל מה שהיא עושה היא מזיזה את הראש
  gHFjddkzJ8Y @ 00:49:30
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL1·14
What the constant inside O(·) may depend on
כשכותבים $O(\cdot)$ בהקשר של מדדי סיבוכיות, הקבוע המוסתר רשאי להיות תלוי במכונה (וב- $n$ במובן של הפונקציה), אך אסור שיהיה תלוי בקלט $x$ — הוא חייב להיות אותו קבוע לכל הקלטים.
המרצה חוזר על זה שלוש פעמים באותו שיעור ואומר במפורש "זה המקום שבו טועים". הכלל לשימוש: בכל פעם שאתם רואים $O$ של משהו, שאלו את עצמכם במה הקבוע תלוי ובמה לא.
AsymptoticsQuantifiersProof technique
What was said on the recording (1)
- הוא יכול להיות תלוי במכונה m אבל הוא לא תלוי בכלל x
  gHFjddkzJ8Y @ 00:52:11
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL1·15
A configuration is a resumable snapshot
קונפיגורציה של ריצת $M$ על $x$ היא כל המידע הדרוש כדי "להקפיא" את החישוב ולהמשיך אותו אחר כך: המצב הפנימי, תוכן הסרט, ומיקום הראש.
ConfigurationsTuring machines
What was said on the recording (1)
- הקונפיגורציה מתארת לי בעצם את כל המידע שאני צריך כדי להקפיא את החישוב
  gHFjddkzJ8Y @ 00:53:47
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·16
Determinism is why a repeated configuration loops
כל צעד של מכונה דטרמיניסטית נקבע באופן יחיד מהקונפיגורציה. לכן אם המכונה חוזרת לאותה קונפיגורציה — היא תחזור אליה שוב ושוב ולא תעצור. שקול: אם $M$ עוצרת על $x$ היא עוברת בכל קונפיגורציה לכל היותר פעם אחת.
אזהרה שהמרצה מתקן בכיתה: זה לא "כמה מסלולים לאותה נקודה" — אין כאן אי-דטרמיניזם בשלב הזה, ולכן אין כמה ריצות אפשריות.
ConfigurationsHaltingTuring machines
What was said on the recording (1)
- כל צעד של המכונה נקבע באופן יחיד
  gHFjddkzJ8Y @ 00:56:57
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL1·17
Steps are bounded by the number of configurations
אם $M$ עוצרת על $x$ אז $\mathrm{TIME}_M(x)$ אינו עולה על מספר הקונפיגורציות השונות האפשריות.
ConfigurationsTime
What was said on the recording (1)
- מספר הצעדים שהם מבצעת ברצת האליx אינו לכל היותר בעצם כמספר הקונפיגורציות
  gHFjddkzJ8Y @ 00:58:34
- ה-ASR שיבש את המשפט ל"אינו לכל היותר"; הכוונה "הוא לכל היותר".
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·18
Counting configurations
מספר הקונפיגורציות השונות בריצת $M$ על $x$ הוא $|Q|\cdot|\Gamma_M|^{\mathrm{SPACE}_M(x)}\cdot \mathrm{SPACE}_M(x)$ .
$|Q|\cdot|\Gamma_M|^{\mathrm{SPACE}_M(x)}\cdot \mathrm{SPACE}_M(x)$
מיקום הראש חסום ב-SPACE ולא באורך הסרט (שהוא אינסופי), כי הראש לא חורג מהתחום שנכתב.
ConfigurationsSpaceCombinatorics
What was said on the recording (1)
- הראש זה הטווח ש של התאים שעלם הראש עובר במהלך הריצה זה כפול הספייס
  gHFjddkzJ8Y @ 01:01:48
The lecture number was inferred from recording dates, not stated in the title.
NotationRememberL1·19
The log identities you need cold
$a^{b}=2^{b\log a}$ , $2^{\log n}=n$ , ו- $\log a \le a$ לכל $a$ . שלושת אלה הם כל מה שדרוש כדי להפוך ספירת קונפיגורציות ל- $2^{c\cdot s}$ .
$a^{b}=2^{b\log a},\qquad \log a \le a$
הצעד המפתח בהוכחה: מעלים כל גורם לחזקת 2 של הלוג שלו, מאחדים את המכפלה לחיבור מעריכים, מגדילים כל מחובר כך שיכיל $\mathrm{SPACE}$ , ומוציאים את $\mathrm{SPACE}$ כגורם משותף.
AsymptoticsProof technique
What was said on the recording (1)
- לogג של a תמיד קטן שווה מA עצמו
  gHFjddkzJ8Y @ 01:07:36
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·20
If the machine halts, time is exponential in space
לכל מכונה $M$ קיים קבוע $c_M>0$ כך שלכל $x$ : אם $M$ עוצרת על $x$ אז $\mathrm{TIME}_M(x)\le 2^{\,c_M\cdot \mathrm{SPACE}_M(x)}$ , ואפשר לקחת $c_M = \log|Q| + \log|\Gamma_M| + 1$ .
$\mathrm{TIME}_M(x)\le 2^{\,c_M\cdot \mathrm{SPACE}_M(x)},\qquad c_M=\log|Q|+\log|\Gamma_M|+1$
הקבוע תלוי במכונה בלבד. החסם אינו הדוק — בדרך הגדלנו כל מחובר כדי לחלץ את SPACE כגורם משותף. השורה התחתונה: חסם על המקום + עצירה $\Rightarrow$ חסם על הזמן.
TimeSpaceTime vs spaceConfigurations
What was said on the recording (1)
- כל הדבר הזה הוא תלוי רק במכונה, הוא לא תלוי בכלל
  gHFjddkzJ8Y @ 01:11:19
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL1·21
The full time-space chain
לכל מכונה $M$ ולכל $x$ שעליו $M$ עוצרת: $\mathrm{SPACE}_M(x)\;\le\;\mathrm{TIME}_M(x)\;\le\;2^{O(\mathrm{SPACE}_M(x))}$ .
$\mathrm{SPACE}_M(x)\le \mathrm{TIME}_M(x)\le 2^{O(\mathrm{SPACE}_M(x))}$
זו "השורה התחתונה" של השיעור — שני הכיוונים יחד, כשהאסימטריה ביניהם (חסם ליניארי מול חסם אקספוננציאלי) היא העיקר.
TimeSpaceTime vs space
What was said on the recording (1)
- המקום הוא לכל היותר הזמן
  gHFjddkzJ8Y @ 01:12:55
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL1·22
DTIME(f)
$\mathrm{DTIME}(f)$ היא מחלקת כל השפות $A\subseteq\Sigma^*$ שעבורן קיימת מכונה $M$ המכריעה את $A$ כך שלכל $x$ מתקיים $\mathrm{TIME}_M(x)\le O\big(f(|x|)\big)$ .
$\mathrm{DTIME}(f)=\{A : \exists M \text{ deciding } A,\; \forall x\; \mathrm{TIME}_M(x)\le O(f(|x|))\}$
שתי דרישות, לא אחת: (1) $M$ מכריעה את $A$ ; (2) היא עושה זאת בתוך תקציב הזמן. הכתיבה $\mathrm{DTIME}(n^2)$ היא abuse of notation מקובל ל- $\mathrm{DTIME}(f)$ כאשר $f(n)=n^2$ .
Complexity classesTimeSpace
What was said on the recording (2)
- של כל השפות שניתן להכריע בזמן O של F
  gHFjddkzJ8Y @ 01:14:32
- המקום שהמכונה משתמשת עלx הוא לכל היותר
  gHFjddkzJ8Y @ 01:21:28
The lecture number was inferred from recording dates, not stated in the title.
NotationL1·23
DTIME(n²) is an abuse of notation
פורמלית המחלקה מוגדרת עבור פונקציה $f$ , ולכן $\mathrm{DTIME}(n^2)$ פירושו $\mathrm{DTIME}(f)$ עבור $f(n)=n^2$ . זו הכתיבה המקובלת וצריך להכיר אותה.
Complexity classesnotation
What was said on the recording (1)
- הכתיבה הזאת היא קצת א abuse of notation
  gHFjddkzJ8Y @ 01:20:25
The lecture number was inferred from recording dates, not stated in the title.
ExampleL1·24
Palindromes as class membership
שפת הפלינדרומים שייכת ל- $\mathrm{DTIME}(n^2)$ ול- $\mathrm{DSPACE}(n)$ — נובע ישירות מהמכונה החד-סרטית שראינו, שרצה בזמן $O(n^2)$ ובמקום $O(n)$ .
זו התבנית להוכחת שייכות למחלקה: מציגים מכונה, מראים שהיא מכריעה, ומראים את החסם על המשאב לכל $x$ .
Complexity classesTimeSpace
What was said on the recording (1)
- אז בעצם הדבר הזה שייך לד
  gHFjddkzJ8Y @ 01:23:35
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·25
DTIME(f) ⊆ DSPACE(f)
לכל פונקציה $f$ מתקיים $\mathrm{DTIME}(f)\subseteq \mathrm{DSPACE}(f)$ .
$\mathrm{DTIME}(f)\subseteq \mathrm{DSPACE}(f)$
ההוכחה: אם $A\in\mathrm{DTIME}(f)$ אז יש $M$ המכריעה את $A$ וקבוע $c$ כך ש- $\mathrm{TIME}_M(x)\le c\cdot f(|x|)$ . אותה מכונה עובדת גם עבור המקום, כי $\mathrm{SPACE}_M(x)\le \mathrm{TIME}_M(x)\le c\cdot f(|x|)$ .
Complexity classesTime vs space
What was said on the recording (1)
- אז בעצם dtיים של F מוחלת בDספי של F
  gHFjddkzJ8Y @ 01:26:43
The lecture number was inferred from recording dates, not stated in the title.
NotationL1·26
What 2^{O(f)} actually means
$\mathrm{DTIME}\big(2^{O(f)}\big) = \bigcup_{c=1}^{\infty}\mathrm{DTIME}\big(2^{c\cdot f}\big)$ — זו הכתיבה המפורשת, ובה מתחבאים שני קבועים שונים: זה שבתוך $2^{O(\cdot)}$ וזה שבהגדרת $\mathrm{DTIME}$ עצמה.
$\mathrm{DTIME}\big(2^{O(f)}\big)=\bigcup_{c\ge 1}\mathrm{DTIME}\big(2^{c f}\big)$
המרצה מודה שזה מבלבל, ומדגיש: מה שחשוב הוא ששני הקבועים אינם תלויים בקלט.
Complexity classesnotationAsymptotics
What was said on the recording (1)
- זה בעצם איחוד של א לא יודע C שווה ל1 עד אינסוף
  gHFjddkzJ8Y @ 01:33:41
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·27
A decider halts on every input, so halting comes free
בתוך $\mathrm{DSPACE}(f)$ אין צורך להניח עצירה: מעצם ההגדרה של הכרעה, מכונה המכריעה שפה עוצרת על כל קלט. זה מה שמאפשר להפעיל את החסם $\mathrm{TIME}\le 2^{O(\mathrm{SPACE})}$ .
המרצה עוצר במפורש על השאלה "למה מותר לי להניח שהיא עוצרת?" — חסם על המקום לבדו אינו מספיק; ההכרעה היא הנתון החסר.
HaltingComplexity classesProof technique
What was said on the recording (1)
- מכונה שמכריעה הבעיה בהכרח חייבת לכל
  gHFjddkzJ8Y @ 01:39:31
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·28
DSPACE(f) ⊆ DTIME(2^{O(f)})
לכל פונקציה $f$ מתקיים $\mathrm{DSPACE}(f)\subseteq \mathrm{DTIME}\big(2^{O(f)}\big)$ .
$\mathrm{DSPACE}(f)\subseteq \mathrm{DTIME}\big(2^{O(f)}\big)$
ההוכחה: $M$ מכריעה ולכן עוצרת, אז $\mathrm{TIME}_M(x)\le 2^{c'\cdot \mathrm{SPACE}_M(x)}$ ; ומכיוון ש- $\mathrm{SPACE}_M(x)\le c\cdot f(|x|)$ , מקבלים $\mathrm{TIME}_M(x)\le 2^{c'c\cdot f(|x|)}$ , כלומר הקבוע הוא מכפלת שני הקבועים, $d = c'\cdot c$ .
Complexity classesTime vs space
What was said on the recording (1)
- אז אם ככה מה אני רוצה אז שD יהיה מה הקבוע שאני אגדיר
  gHFjddkzJ8Y @ 01:42:48
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL1·29
The central question of complexity
בחישוביות שאלנו "מה ניתן לחשב?", בסיבוכיות שואלים "מה ניתן לחשב באופן יעיל?" — ושלוש ההשלמות שהופכות את השאלה למשמעותית הן: על אילו אובייקטים (פונקציות), באיזה מודל חישובי (מכונות טיורינג), ומה נחשב יעיל.
הדאטה-טייפ (מספרים / מחרוזות / סדרות) פחות משנה, כי ברגע שקבענו א"ב אפשר לעבור בין הייצוגים. כשהתחום נוסד בשנות ה-70 זמן פולינומי בגודל הקלט הוגדר כ"יעיל", גם אז מתוך ידיעה ש- $n^{100}$ אינו באמת יעיל.
FoundationsTuring machinesAsymptotics
What was said on the recording (1)
- בסיבוכיות. בעצם השאלה היא מה ניתן לחשב
  rpPkbaTmVys @ 00:03:33
The lecture number was inferred from recording dates, not stated in the title.
RuleL1·30
Computability is absolute, efficiency is not
"ניתן לחשב" הוא מושג אבסולוטי; "יעיל" הוא מושג לא-אבסולוטי ותלוי-הקשר — מה שנחשב יעיל משתנה עם הזמן ועם גודל הנתונים.
היום גם זמן ליניארי לא תמיד נחשב יעיל, כי כמויות המידע עצומות.
FoundationsAsymptotics
What was said on the recording (1)
- יעילות זה מושג שהוא מאוד מאוד לא אבסולוטי
  rpPkbaTmVys @ 00:04:06
The lecture number was inferred from recording dates, not stated in the title.
RuleL1·31
Which resources get counted
המשאבים שסיבוכיות סופרת הם משאבי זמן ריצה: זמן, מקום (זיכרון), ביטים אקראיים, רוחב פס / כמות תקשורת, ונכונות (דיוק). זמן קומפילציה וזמן מתכנת אינם נספרים — הם לא תלויים בקלט ולא קורים בזמן ריצה.
הרעיון המרכזי: בעולם האמיתי סוחרים בין המשאבים כמו בפלסטלינה — משלמים בזמן כדי לקבל דיוק, במקום כדי לקבל זמן, בחישוב מקומי כדי לחסוך ברוחב פס. עיקר הקורס: זמן ומקום.
FoundationsTimeSpaceRandomization
What was said on the recording (1)
- אני כרגע מתעניין במשאבים שקשורים ריצה
  rpPkbaTmVys @ 00:06:13
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL1·32
Definition of TIME and SPACE of a run
בהינתן מכונה $M$ וקלט $x$ : $\mathrm{TIME}_M(x)$ הוא מספר ההפעלות של פונקציית המעברים בריצת $M$ על $x$ , ו- $\mathrm{SPACE}_M(x)$ הוא מספר התאים השונים ש- $M$ כותבת בהם במהלך הריצה.
$\mathrm{TIME}_M(x) = \#\{\text{applications of } \delta\},\quad \mathrm{SPACE}_M(x) = |\{\text{cells written}\}|$
תאי הקלט שהמכונה קוראת אך לא כותבת בהם אינם נספרים במקום. לכן מכונה שמקבלת מיד בלי לקרוא כלום היא בעלת מקום 1 וזמן 1.
Turing machinesTimeSpace
What was said on the recording (1)
- כמספר ההפעלות של פונקציית המעברים בריצה של m על x
  rpPkbaTmVys @ 00:20:12
- ה-ASR משבש את הסימונים TIME/SPACE לכל אורך הקטע.
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·33
Simulating a multi-tape machine on one tape
לכל מכונה רב-סרטית $M$ קיימת מכונה חד-סרטית $\hat M$ עם אותה סמנטיקה, כך שלכל $x$ : $\mathrm{TIME}_{\hat M}(x) \le 4\cdot \mathrm{TIME}_M(x)\cdot(\mathrm{SPACE}_M(x)+2) = O(\mathrm{TIME}_M(x)\cdot \mathrm{SPACE}_M(x))$ , ו- $\mathrm{SPACE}_{\hat M}(x)=O(\mathrm{SPACE}_M(x))$ .
$\mathrm{TIME}_{\hat M}(x) = O\big(\mathrm{TIME}_M(x)\cdot \mathrm{SPACE}_M(x)\big)$
המקדם 4 מגיע מארבעה סוויפים על תוכן כל הסרטים לכל צעד מסומלץ. שימו לב לכיוון: אי-השוויון אינו אומר שחד-סרטית טובה יותר, אלא שהיא "לא הרבה יותר גרועה" — הכפל ב-SPACE יכול להיות משמעותי מאוד.
Turing machinesMulti-tape machinesTimeSpaceModel robustness
What was said on the recording (1)
- זמן הריצה של המכונה החד סרטית על x הוא לא יותר מ ארבע פעמים
  rpPkbaTmVys @ 00:24:28
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL1·34
What the O-notation hides
בסימולציה רב-סרטית → חד-סרטית סימון ה- $O$ מסתיר קבועים התלויים במספר הסרטים. מרגע שמתחילים לכתוב $O$ חייבים לדעת בדיוק מה הוחבא בפנים.
AsymptoticsMulti-tape machinesProof technique
What was said on the recording (1)
- סימון ה-O מסתיר קבועים התלויים במספר הסרטים
  rpPkbaTmVys @ 00:26:08
The lecture number was inferred from recording dates, not stated in the title.
ExampleL1·35
Palindromes: the multi-tape gap is real
שפת הפלינדרומים מוכרעת בזמן ליניארי במכונה רב-סרטית, ובזמן ריבועי במכונה החד-סרטית המתאימה — הדגמה שהמכפלה ב-SPACE בסימולציה אינה טכנית בלבד.
Multi-tape machinesTimeModel robustness
What was said on the recording (1)
- מכונה רב סרטית לשפת הפלינדרום שעושה את זה בזמן ליניארי
  rpPkbaTmVys @ 00:27:42
The lecture number was inferred from recording dates, not stated in the title.
DefinitionL1·36
The five tapes of the universal machine
המכונה האוניברסלית שנבנתה היא רב-סרטית עם חמישה סרטים: סרט קלט, סרט מכונה (טבלת $\delta$ ), סרט עבודה, סרט מצב, וסרט אורך-קידוד-תו.
סרט אורך-הקידוד מחזיק סדרת אפסים באורך $\lceil\log|\Gamma|\rceil$ ומשמש כמונה: כמה ביטים צריך לקרוא כדי לקרוא קידוד של תו אחד. מספר הסרטים המדויק (3 או 5) לא משנה — זה עד כדי קבוע כפלי.
Universal machineMulti-tape machinesEncodings
What was said on the recording (1)
- סרט עבודה, סרט מצב וסרט אורך תו
  rpPkbaTmVys @ 00:34:51
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·37
Efficiency of the multi-tape universal machine
לכל $M$ ולכל $x$ : $\mathrm{TIME}_{M_U}(\langle M,x\rangle) = O\big(|\langle M\rangle| \cdot \mathrm{TIME}_M(x)\big)$ , ו- $\mathrm{SPACE}_{M_U}(\langle M,x\rangle) = O\big(\log|\Gamma|\cdot \mathrm{SPACE}_M(x)\big) + |\langle M\rangle| + |x|$ .
$\mathrm{TIME}_{M_U}(\langle M,x\rangle) = O\big(|\langle M\rangle|\cdot \mathrm{TIME}_M(x)\big)$
הזמן: על כל צעד של $M$ האוניברסלית סורקת את כל טבלת $\delta$ , ולכן משלמת פקטור $|\langle M\rangle|$ . המקום: $M_U$ עובדת בבינארית, ולכן כל תו של $\Gamma$ עולה לה $\log|\Gamma|$ ביטים.
Universal machineTimeSpaceEncodings
What was said on the recording (1)
- על כל צעד שm הייתה עושה עלx האוניברסלית צריכה לעשות כאורך הקידוד של m
  rpPkbaTmVys @ 00:43:56
- איברי החיבור של ההעתקה ההתחלתית נבלעים בדרך כלל באיבר הימני, אך לא תמיד — הלקטור מדגיש שצריך להצדיק זאת.
The lecture number was inferred from recording dates, not stated in the title.
RuleL1·38
Why encoding a symbol costs log|Γ| bits
מכונה שעובדת בא"ב בינארי צריכה $\lceil\log|\Gamma|\rceil$ ביטים כדי לקודד תו יחיד מא"ב בגודל $|\Gamma|$ — זהו הפקטור שמכפיל את המקום בכל סימולציה שמצמצמת א"ב.
EncodingsSpaceUniversal machine
What was said on the recording (1)
- כמה ביטים אני צריך כדי לקודד תו אחד
  rpPkbaTmVys @ 00:47:12
The lecture number was inferred from recording dates, not stated in the title.
CorollaryL1·39
Single-tape universal machine
שילוב הסימולציה רב-סרטית→חד-סרטית עם יעילות המכונה האוניברסלית נותן מכונה אוניברסלית חד-סרטית $\hat M_U$ שזמנה $O\big(|\langle M\rangle|\cdot\log|\Gamma|\cdot \mathrm{TIME}_M(x)\cdot \mathrm{SPACE}_M(x)\big)$ ומקומה $O(\log|\Gamma|\cdot \mathrm{SPACE}_M(x))$ .
זה לא משפט חדש — זו הצבה של החסם הרב-סרטי בתוך חסם הסימולציה. תמיד להבהיר אם מדברים על מכונה אוניברסלית רב-סרטית או חד-סרטית.
Universal machineMulti-tape machinesTimeSpace
What was said on the recording (1)
- קיימת מכונה אוניברסלית חד סרטית
  rpPkbaTmVys @ 00:51:30
- הביטוי המדויק על הלוח משובש ב-ASR; מבנה החסם משוחזר מהחישוב שנעשה בקול.
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL1·40
Every inequality between set sizes hides an injection
כשמוכיחים אי-שוויון בין גדלים של שתי קבוצות, כמעט תמיד הטיעון האמיתי הוא בניית פונקציה חד-חד-ערכית מהקבוצה הקטנה לגדולה — במפורש או במובלע.
זהו הכלי שמוכיח $\mathrm{SPACE}\le\mathrm{TIME}$ , וגם $\mathrm{TIME}\le\#\text{configurations}$ באותו שיעור. שווה לחפש את הפונקציה הזו בכל פעם שמופיע $\le$ בין ספירות.
Proof techniqueCombinatorics
What was said on the recording (1)
- כשיש לי אי שוויון בין גדלים של קבוצות מה תמיד יהיה שם
  rpPkbaTmVys @ 01:01:39
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·41
Time is not bounded by any function of space
לא ניתן לחסום את זמן הריצה על ידי שום פונקציה של המקום. דוגמה נגדית: מכונה שראשה זז ימינה-שמאלה לנצח על שני תאים — המקום הוא $2$ והזמן אינסופי.
הנקודה החשובה בניסוח הדוגמה הנגדית: לא מספיק לומר "היא לא עוצרת" — צריך לקשור זאת למקום, כלומר להראות שהיא לא עוצרת תוך שימוש במספר קבוע של תאים.
TimeSpaceTime vs spaceHalting
What was said on the recording (1)
- שום פונקציה של הספייס לא תחסום את הטיים
  rpPkbaTmVys @ 01:09:02
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL1·42
Configuration of a run
קונפיגורציה היא בדיוק המידע הדרוש כדי להמשיך ריצה מנקודה נתונה: תוכן הסרט, מיקום הראש, והמצב. ההיסטוריה אינה חלק מהקונפיגורציה.
מבחן האינטואיציה של המרצה: אם אני מתחיל ריצה ורוצה שתמשיכו אותה — מה עליי למסור לכם? חייבים למסור את תוכן כל הסרט, לא רק את התו הנוכחי, כי אי אפשר לדעת לאן הראש ילך בהמשך.
Turing machinesConfigurations
What was said on the recording (1)
- כל מה שמעניין אותי זה מה התוכן של הסרט, על איזה תו הראש עומד ומה המצב
  rpPkbaTmVys @ 01:12:44
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·43
Repeating a configuration means never halting
אם $M$ בריצתה על $x$ מגיעה לאותה קונפיגורציה פעמיים, היא תחזור עליה אינסוף פעמים ולא תעצור. שקול: אם $M$ עוצרת על $x$ , היא עוברת בכל קונפיגורציה לכל היותר פעם אחת.
הסיבה: המכונה לא זוכרת היסטוריה, ולכן מאותה קונפיגורציה היא תעשה בדיוק אותו דבר. אזהרה נפוצה: מכונה יכולה לחזור לאותו תוכן סרט או לאותו מצב בלי שזו אותה קונפיגורציה — צריך ששלושת הרכיבים יחזרו יחד.
ConfigurationsHaltingTuring machines
What was said on the recording (1)
- אם m בריצתה על x חוזרת על קונפיגורציה
  rpPkbaTmVys @ 01:15:59
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL1·44
Time is bounded by the number of configurations
אם $M$ עוצרת על $x$ אז $\mathrm{TIME}_M(x) \le$ מספר הקונפיגורציות האפשריות בריצת $M$ על $x$ — כי ההתאמה צעד $\mapsto$ קונפיגורציה היא חד-חד-ערכית.
$\mathrm{TIME}_M(x) \le \#\mathrm{Conf}_M(x)$
ConfigurationsTimeProof technique
What was said on the recording (1)
- זמן הריצה של m עלx קטן שווה
  rpPkbaTmVys @ 01:20:42
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL1·45
Counting configurations
בהינתן מקום $s=\mathrm{SPACE}_M(x)$ , מספר הקונפיגורציות האפשריות הוא $|Q|\cdot|\Gamma|^{s}\cdot s$ : בחירת מצב, כפול תוכן הסרט (מחרוזת באורך $s$ מעל $\Gamma$ ), כפול מיקום הראש (שלא יכול לחרוג מ- $s$ ).
$\#\mathrm{Conf} = |Q|\cdot|\Gamma|^{\mathrm{SPACE}_M(x)}\cdot \mathrm{SPACE}_M(x)$
החזקה נובעת מתרגיל קומבינטורי בסיסי: מספר המחרוזות באורך $k$ מעל א"ב בגודל $m$ הוא $m^k$ . זהו החישוב שהמרצה חוזר עליו לאורך הקורס — כדאי לזכור אותו בעל פה.
ConfigurationsSpaceCombinatorics
What was said on the recording (1)
- יש לי שלושה דברים שמרכיבים קונפיגורציה מצב תוכן סרט ועל איזה תא
  rpPkbaTmVys @ 01:21:46
- המשפט המקורי מנוסח בעל פה ולא נכתב במלואו; שלושת הגורמים נאמרים במפורש.
The lecture number was inferred from recording dates, not stated in the title.
NotationRememberL1·46
Rewriting powers in base 2
$a^{b} = 2^{b\log a}$ — הזהות שמאפשרת לאחד מכפלות של חזקות למעריך אחד. חייבת לשבת בעל פה.
$a^{b} = 2^{b\log a}$
AsymptoticsProof technique
What was said on the recording (1)
- בחזקת B לogג A
  rpPkbaTmVys @ 01:26:32
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL1·47
Time is exponentially bounded by space, if the machine halts
לכל מכונה $M$ קיים קבוע $c>0$ כך שלכל $x$ : אם $M$ עוצרת על $x$ אז $\mathrm{TIME}_M(x) \le 2^{\,c\cdot \mathrm{SPACE}_M(x)}$ .
$\forall M\;\exists c>0\;\forall x:\; M(x)\!\downarrow \Rightarrow\; \mathrm{TIME}_M(x)\le 2^{c\cdot \mathrm{SPACE}_M(x)}$
מתקבל מספירת הקונפיגורציות: $|Q|\cdot|\Gamma|^{s}\cdot s \le 2^{s(\log|Q| + \log|\Gamma| + 1)}$ , ולכן $c = \log|Q| + \log|\Gamma| + 1$ — קבוע התלוי רק במכונה. החסם אינו הדוק: בדרך התעלמנו מביטוי שיכול להיות גדול מאוד, ולכן ייתכן שהזמן קטן בהרבה. המרצה מסמן שלפעמים נרצה לחזור לנקודה הזו כשה-SPACE גדול.
TimeSpaceTime vs spaceConfigurations
What was said on the recording (1)
- לכל מכונה M קיים C גדול מאפס
  rpPkbaTmVys @ 01:29:30
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL1·48
Quantifier order fixes what the constant may depend on
ב-"לכל מכונה $M$ קיים $c$ כך שלכל $x$ ..." הקבוע $c$ רשאי להיות תלוי ב- $M$ אך לא ב- $x$ — פשוט משום ש- $x$ מופיע אחריו. הכלל התחבירי: משתנה יכול להיות תלוי רק במשתנים שהופיעו לפניו.
המרצה מדגיש שזה "פי 10 יותר חשוב" בסיבוכיות מאשר בחישוביות. לפעמים מסמנים $c_M$ כדי להדגיש את התלות, אבל צריך לדעת להסתדר גם בלי הסימון — פשוט לקרוא את סדר הכמתים.
QuantifiersProof technique
What was said on the recording (1)
- הC הזה יכול להיות תלוי רק בM הוא לא יהיה תלוי בX
  rpPkbaTmVys @ 01:30:37
The lecture number was inferred from recording dates, not stated in the title.
Lecture 2
Exam guidanceRememberL2·1
Memorize the configuration count
המרצה מסמן במפורש: חשוב לזכור את החישוב של מספר הקונפיגורציות, ובמיוחד לשים לב שהחסם המתקבל ממנו אינו הדוק — כשה-SPACE גדול מאוד ההפרש עשוי להיות משמעותי, ולפעמים נרצה לחזור לנקודה הזו.
ConfigurationsSpaceExam
What was said on the recording (1)
- חשוב לזכור גם את
  PDYBI1FPB1Y @ 00:01:08
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·2
DTIME(f), formally
$\mathrm{DTIME}(f) = \{A : \exists M\;\exists c>0$ כך ש- $M$ מכריעה את $A$ , ולכל $x$ מתקיים $\mathrm{TIME}_M(x)\le c\cdot f(|x|)\}$ . ה- $D$ הוא קיצור לדטרמיניסטי.
$\mathrm{DTIME}(f)=\{A: \exists M\,\exists c>0,\; M \text{ decides } A \;\wedge\; \forall x\; \mathrm{TIME}_M(x)\le c\cdot f(|x|)\}$
אינטואיטיבית: כל השפות שניתן להכריע בזמן $O(f)$ . אבל המרצה מדגיש — האינטואיציה טובה לחשיבה, ולהוכחה חייבים את הצורה הפורמלית עם המכונה והקבועים ביד.
Complexity classesTimeSpace
What was said on the recording (2)
- קיימת מכונה M כך שקיים C גדול מאפס כך ש מכריעה את A
  PDYBI1FPB1Y @ 00:03:27
- ואנחנו מגדירים dספס f באותה צורה
  PDYBI1FPB1Y @ 00:05:30
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL2·3
Intuition to think with, formalism to prove with
בגרסה האינטואיטיבית של ההגדרה משתמשים כדי לחשוב על המחלקות; ברגע שבאים להוכיח חייבים לרדת לרמת הפורמליזם ולהחזיק ביד את המכונה ואת הקבועים.
Proof techniqueComplexity classes
What was said on the recording (1)
- אבל כשאני בא להוכיח אני חייב לרדת לרמת ה
  PDYBI1FPB1Y @ 00:04:28
The lecture number was inferred from recording dates, not stated in the title.
PitfallL2·4
A class is a set of languages, not of machines
$A$ אינה מכונת טיורינג אלא שפה; מחלקות סיבוכיות הן קבוצות שהאיברים שלהן הם שפות. בשיעור הקודם הגדרנו את המשאבים של מכונה בודדת — כאן מגדירים מחלקות של שפות.
Complexity classesnotation
What was said on the recording (1)
- מחלקות זה קבוצות שהאיברים שלהן הן שפות
  PDYBI1FPB1Y @ 00:06:33
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·5
DTIME(f) ⊆ DSPACE(f)
לכל $f:\mathbb{N}\to\mathbb{N}$ מתקיים $\mathrm{DTIME}(f)\subseteq \mathrm{DSPACE}(f)$ — אותה מכונה ואותו קבוע עובדים, מכוח $\mathrm{SPACE}_M(x)\le \mathrm{TIME}_M(x)$ .
$\mathrm{DTIME}(f)\subseteq \mathrm{DSPACE}(f)$
Complexity classesTime vs space
What was said on the recording (1)
- לכל פונקציה מn ל
  PDYBI1FPB1Y @ 00:07:06
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·6
In a containment proof you take an element, you don't assume one exists
בהוכחת $X\subseteq Y$ אין כמת קיום על האיבר. הניסוח הנכון הוא "תהי $A\in X$ " ולא "נניח שקיים $A\in X$ ".
Proof techniqueQuantifiers
What was said on the recording (1)
- אני לא מניח שיש איבר אני לוקח איבר
  PDYBI1FPB1Y @ 00:08:17
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·7
Never start from the end of a definition
טעות נפוצה: אחרי שפרסתם את ההגדרה של הנתון, לקפוץ ישר לאי-השוויון של המטרה. מה שפרסתם למעלה הוא מה שנובע מהשייכות; כדי להוכיח שייכות חדשה צריך להוכיח את כל ההגדרה מחדש — קיום מכונה, קיום קבוע, הכרעה, וגם החסם.
"לא לקצר את ההגדרה. כשאני צריך להוכיח, אני צריך להוכיח." גם אם חלק מהשורות מרגישות חזרתיות — זה המבנה הנכון, והוא מה שיאפשר להתמודד עם ההוכחות המורכבות בהמשך.
Proof techniqueComplexity classes
What was said on the recording (1)
- אתה לא יכול להתחיל מהסוף
  PDYBI1FPB1Y @ 00:09:58
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·8
How to prove existence: "consider…"
כדי להוכיח "קיימת מכונה" / "קיים קבוע" מציגים עד קונקרטי: "נתבונן ב- $M$ ", "נתבונן ב- $c$ ". מותר להשאיר את ערכו של הקבוע פתוח ולמלא אותו בסוף — אבל פורמלית הוא חייב להיקבע.
Proof techniqueQuantifiers
What was said on the recording (1)
- איך אני מוכיח קיום
  PDYBI1FPB1Y @ 00:10:59
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·9
Write f(|x|), never f(x)
$f$ היא פונקציה מ- $\mathbb{N}$ ל- $\mathbb{N}$ , ו- $x$ הוא מחרוזת. לכן $f(x)$ חסר משמעות; מה שמוזן לפונקציה הוא $|x|$ — אורך המחרוזת, שהוא מספר.
זו אינה קפדנות סימונית בלבד אלא הביטוי של העיקרון המהותי: בסיבוכיות מודדים תמיד ביחס לאורך הקלט.
notationAsymptoticsComplexity classes
What was said on the recording (1)
- אז f של x זה חסר משמעות
  PDYBI1FPB1Y @ 00:15:16
The lecture number was inferred from recording dates, not stated in the title.
RuleL2·10
Complexity is the price, the input is what you get
אותו מספר צעדים על קלט ארוך יותר פירושו סיבוכיות קטנה יותר — כי הסיבוכיות נמדדת יחסית לגודל הקלט. האינטואיציה: זמן ומקום הם המחיר, הקלט הוא הסחורה.
AsymptoticsTimeSpace
What was said on the recording (1)
- תחשבו עליהם בתור מחיר
  PDYBI1FPB1Y @ 00:16:54
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·11
Cite a definition exactly when it hands you an object
ככלל לא מצטטים הגדרות באמצע הוכחה. הזמן היחיד שכן: כשההגדרה מבטיחה קיום של אובייקט שאתם צריכים ביד — מכונה, קבוע. פורסים אותה כדי לקבל את המשתנים.
Proof techniqueQuantifiers
What was said on the recording (1)
- כשההגדרה מבטיחה לי קיום
  PDYBI1FPB1Y @ 00:23:49
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·12
DSPACE(f) ⊆ ∪ DTIME(2^{d·f})
לכל $f$ מתקיים $\mathrm{DSPACE}(f)\subseteq \bigcup_{d\ge 1}\mathrm{DTIME}\big(2^{d\cdot f}\big)$ , כאשר בהוכחה $d=(\log|Q|+\log|\Gamma|+1)\cdot c$ והקבוע של $\mathrm{DTIME}$ הוא $\hat c = 1$ .
$\mathrm{DSPACE}(f)\subseteq \bigcup_{d\ge 1}\mathrm{DTIME}\big(2^{d\cdot f}\big)$
השרשור: $M$ מכריעה $\Rightarrow$ עוצרת על כל $x$ $\Rightarrow$ $\mathrm{TIME}_M(x)\le 2^{(\log|Q|+\log|\Gamma|+1)\cdot \mathrm{SPACE}_M(x)}\le 2^{(\log|Q|+\log|\Gamma|+1)\cdot c\cdot f(|x|)}$ . $\hat c=1$ כי אין מקדם לפני החזקה.
Complexity classesTime vs space
What was said on the recording (1)
- עכשיו מה יהיה הD ומה יהיה הC כובע
  PDYBI1FPB1Y @ 00:31:33
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·13
Sanity check: build a constant only from what you already hold
כשקובעים קבוע בסוף ההוכחה, ודאו שהוא מורכב רק ממשתנים שכבר הושגו קודם — המכונה, $|Q|$ , $|\Gamma|$ , הקבוע מההגדרה. אם הוא נסמך על משהו שעדיין לא בידכם (ובפרט על $x$ ) — יש פשלה בהוכחה.
Proof techniqueQuantifiers
What was said on the recording (1)
- שאני לא משתמש במשהו שעדיין אין לי ביד
  PDYBI1FPB1Y @ 00:33:09
The lecture number was inferred from recording dates, not stated in the title.
NotationRememberL2·14
"Machine" means the standard one-tape machine
אלא אם נאמר אחרת, "מכונה" היא תמיד חד-סרטית סטנדרטית — בלי ראש שנשאר במקום, בלי שום וריאנט שנלמד.
Turing machinesnotation
What was said on the recording (1)
- אלא אם נאמר אחרת הכוונה תמיד לחדה סרטית סטנדרטית
  PDYBI1FPB1Y @ 00:43:17
The lecture number was inferred from recording dates, not stated in the title.
NotationL2·15
DTIME(n²) is shorthand for a function
$n^2$ הוא מספר, לא פונקציה. פורמלית היה צריך להגדיר $f(n)=n^2$ ולכתוב $\mathrm{DTIME}(f)$ ; הכתיבה $\mathrm{DTIME}(n^2)$ מקובלת וברורה, וצריך להכיר אותה.
notationComplexity classes
What was said on the recording (1)
- לכתוב פשוט פעל בD N בריבוע
  PDYBI1FPB1Y @ 00:44:53
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·16
The shorthand DTIME(2^{O(f)}) swallows the quantifier
כשכותבים $\mathrm{DTIME}\big(2^{O(f)}\big)$ במקום $\bigcup_{d\ge1}\mathrm{DTIME}(2^{d f})$ , מה שהולך לאיבוד אינו רק ה- $d$ אלא הכמת "קיים" שנותן לו את ההקשר. מותר לכתוב כך, אבל חייבים לדעת לפרוש את זה חזרה כדי להוכיח משהו.
notationComplexity classesQuantifiers
What was said on the recording (1)
- מי שהלך לאיבוד פה זה הקמת
  PDYBI1FPB1Y @ 00:48:01
- ASR: "הקמת" = "הכמת".
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·17
The classes are monotone in f
אם $f = O(g)$ אז $\mathrm{DTIME}(f)\subseteq \mathrm{DTIME}(g)$ וגם $\mathrm{DSPACE}(f)\subseteq \mathrm{DSPACE}(g)$ .
$f = O(g) \;\Rightarrow\; \mathrm{DTIME}(f)\subseteq \mathrm{DTIME}(g) \;\wedge\; \mathrm{DSPACE}(f)\subseteq \mathrm{DSPACE}(g)$
ההוכחה: פורסים את $f=O(g)$ כדי לקבל את הקבוע $c$ , פורסים את $A\in\mathrm{DTIME}(f)$ כדי לקבל $M$ ואת $\hat c$ , ומגדירים את הקבוע החדש $\tilde c = \hat c\cdot c$ . שוב: הקבוע החדש בנוי רק מקבועים שכבר הושגו.
Complexity classesAsymptotics
What was said on the recording (1)
- אנחנו נוכריח רק אחד מהם
  PDYBI1FPB1Y @ 00:50:40
- ניסוח הטענה על הלוח משובש קשות ב-ASR; שוחזר מההוכחה שנעשתה בקול.
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·18
The definition of O, and dropping n₀
$f = O(g)$ אם קיים $c>0$ וקיים $n_0\in\mathbb{N}$ כך שלכל $n\ge n_0$ מתקיים $f(n)\le c\cdot g(n)$ . במבני נתונים ראיתם שאפשר לוותר על $n_0$ ולדרוש את אי-השוויון לכל $n$ — וזו הגרסה שנשתמש בה.
$f = O(g) \iff \exists c>0\;\exists n_0\;\forall n\ge n_0:\; f(n)\le c\cdot g(n)$
Asymptoticsnotation
What was said on the recording (1)
- כך שלכל N שגדול שווה מN F של N קטן שווה C
  PDYBI1FPB1Y @ 00:52:32
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·19
The magic word is "draft"
אף פעם לא כותבים הוכחה בפאס אחד ולא מנסים לראות בזמן קריאת השאלה איך היא תסתיים. עובדים בטיוטה, מגלים שם מי הקבועים, ורק אז כותבים את ההוכחה מלמעלה למטה.
Proof techniqueExam
What was said on the recording (1)
- מילת הקסם היא תיוטה
  PDYBI1FPB1Y @ 00:55:45
- ASR: "תיוטה" = "טיוטה".
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·20
Refined classes versus coarse classes
מחלקה מעודנת מוגדרת לפי פונקציה אחת ספציפית ( $\mathrm{DTIME}(f)$ , $\mathrm{DSPACE}(f)$ ). מחלקה גסה היא איחוד של מחלקות מעודנות.
Complexity classesnotation
What was said on the recording (1)
- המחלקות שהגדרנו נקראות מחלקות
  PDYBI1FPB1Y @ 01:04:52
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·21
The four coarse classes
$\mathrm{P}=\bigcup_{c}\mathrm{DTIME}(n^{c})$ , $\mathrm{EXP}=\bigcup_{c}\mathrm{DTIME}(2^{n^{c}})$ , $\mathrm{PSPACE}=\bigcup_{c}\mathrm{DSPACE}(n^{c})$ , $\mathrm{EXPSPACE}=\bigcup_{c}\mathrm{DSPACE}(2^{n^{c}})$ .
$\mathrm{P}=\bigcup_{c\ge1}\mathrm{DTIME}(n^{c}),\quad \mathrm{EXP}=\bigcup_{c\ge1}\mathrm{DTIME}(2^{n^{c}}),\quad \mathrm{PSPACE}=\bigcup_{c\ge1}\mathrm{DSPACE}(n^{c}),\quad \mathrm{EXPSPACE}=\bigcup_{c\ge1}\mathrm{DSPACE}(2^{n^{c}})$
אינטואיטיבית: P הן השפות שניתן להכריע בזמן פולינומי בגודל הקלט, EXP בזמן מעריכי בפולינום בגודל הקלט, ובאותו אופן למקום.
Complexity classesPPSPACETimeSpace
What was said on the recording (1)
- המחלקה P זה איחוד על פני כל ה
  PDYBI1FPB1Y @ 01:06:29
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·22
"Polynomial" alone means nothing
תמיד אומרים "פולינומי בגודל הקלט". גם באמירה אינטואיטיבית המרצה לא מוותר על ההשלמה הזו.
notationAsymptoticsP
What was said on the recording (1)
- אין משמעות לסתם פולינומי
  PDYBI1FPB1Y @ 01:06:29
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·23
P ⊆ PSPACE
$\mathrm{P}\subseteq \mathrm{PSPACE}$ .
$\mathrm{P}\subseteq \mathrm{PSPACE}$
ההוכחה הקצרה: $A\in\mathrm{P}$ $\Rightarrow$ קיים $c$ עם $A\in\mathrm{DTIME}(n^{c})$ $\Rightarrow$ מהטענה $\mathrm{DTIME}(f)\subseteq\mathrm{DSPACE}(f)$ נקבל $A\in\mathrm{DSPACE}(n^{c})$ $\Rightarrow$ $A\in\mathrm{PSPACE}$ . המרצה הוכיח קודם את הגרסה הארוכה במכוון, כתרגול בפירוק והרכבה של פרמטרים.
Complexity classesPPSPACETime vs space
What was said on the recording (1)
- טענה פי מוחלת בפיספיס
  PDYBI1FPB1Y @ 01:08:05
- ASR: "פי מוחלת בפיספיס" = "P מוכלת ב-PSPACE".
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·24
To enter a coarse class, peel the union first
משייכות למחלקה גסה אי אפשר לקפוץ ישר למכונה — מחלקה גסה מוגדרת כאיחוד ולא על ידי מכונות. השלב הראשון הוא תמיד "קיים $c$ כך ש- $A\in\mathrm{DTIME}(n^{c})$ ", ורק אז אפשר לפרוש למכונה.
Proof techniqueComplexity classesQuantifiers
What was said on the recording (1)
- אני חייב קודם כל לקלף את האיחוד החוצה
  PDYBI1FPB1Y @ 01:10:12
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL2·25
The difference from computability is the parameter count
ההוכחות בסיבוכיות אינן קשות יותר מאשר בחישוביות — הן מאיימות יותר, כי יש בהן הרבה יותר פרמטרים. מה ששומר עליכם הוא המבנה: לדעת בדיוק איזה תפקיד לכל פרמטר ולא לדלג על שלבים.
Proof techniqueExam
What was said on the recording (1)
- המבנה זה מה ששומר עליכם
  PDYBI1FPB1Y @ 01:17:58
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceL2·26
Don't memorize definitions — use them
המלצת המרצה: לא לשנן. לפתור מספיק תרגילים כשההגדרות מול העיניים, עד שהן נכנסות מתוך שימוש ולא מתוך שינון. רק בבחינה עובדים בלי החומר — עד כשלושה ימים לפניה, לעבוד עם החומר פתוח.
ExamProof technique
What was said on the recording (1)
- ובסוף זה נכנס מתוך שימוש ולא מתוך שינון
  PDYBI1FPB1Y @ 01:20:38
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceL2·27
The exam is a singular point in time
הבחינה היא המקום היחיד בקורס שבו עובדים בלי החומר מול העיניים. עד אז — לעבוד עם החומר פתוח ולא להחביא אותו.
Exam
What was said on the recording (1)
- המקום היחיד שבו אתה תצטריך לעבוד בלי החומר מול העיניים
  PDYBI1FPB1Y @ 01:22:11
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·28
Monotonicity of DTIME in f
אם $g=O(f)$ אז $\mathrm{DTIME}(g)\subseteq \mathrm{DTIME}(f)$ (וכנ"ל ל- $\mathrm{DSPACE}$ ). כיוון ההכלה: המחלקה של הפונקציה הקטנה מוכלת במחלקה של הגדולה.
$g=O(f)\;\Rightarrow\; \mathrm{DTIME}(g)\subseteq \mathrm{DTIME}(f)$
ההוכחה: אותה מכונה, והקבוע החדש הוא מכפלת שני הקבועים $d = c'\cdot c$ . המרצה עוצר על שאלת סטודנט — האם המכפלה של שני קבועים חיוביים בהכרח עובדת — ומראה שכן, כי פשוט משרשרים את שני אי-השוויונות.
Complexity classesAsymptotics
What was said on the recording (1)
- אם G שווה O של F כלומר G סדר גודל של F
  ilc7hKBsa1Q @ 00:02:37
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·29
O, and the equivalent form without n₀
$g=O(f)$ אם קיימים $n_0$ ו- $c>0$ כך שלכל $n\ge n_0$ מתקיים $g(n)\le c\cdot f(n)$ . הגרסה השקולה, וזו שנשתמש בה: קיים $c>0$ (אולי אחר) כך שאי-השוויון מתקיים לכל $n$ .
$g=O(f) \iff \exists c>0\;\forall n:\; g(n)\le c\cdot f(n)$
הפרט הטכני הזה חשוב דווקא כאן: ההגדרה של $\mathrm{DTIME}$ דורשת חסם לכל $x$ , ואילו $O$ מבטיח רק "החל מנקודה מסוימת". השקילות היא מה שמאפשר להשתמש ב- $O$ בתוך הגדרות המחלקות.
AsymptoticsnotationComplexity classes
What was said on the recording (1)
- אני יכול לוותר על הn0 הזה
  ilc7hKBsa1Q @ 00:03:38
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·30
The exponent c in P does not depend on the input
ב- $\mathrm{P}=\bigcup_c \mathrm{DTIME}(n^c)$ ה- $n$ הוא אורך הקלט, אבל החזקה $c$ קבועה — יש פולינום אחד שחוסם את זמן הריצה לכל הקלטים. פולינום שהחזקה שלו גדלה עם הקלט אינו פולינום.
PComplexity classesQuantifiers
What was said on the recording (1)
- יש פולינום קבוע שחוסמת זמן הריצה לכל
  ilc7hKBsa1Q @ 00:13:09
The lecture number was inferred from recording dates, not stated in the title.
RuleL2·31
P is "easy", outside P is "hard"
המוסכמה: בעיות בתוך $\mathrm{P}$ נחשבות קלות / פתירות ביעילות, ובעיות מחוץ ל- $\mathrm{P}$ נחשבות קשות ולא בנות-ביצוע בפועל. כל מה שנלמד בקורס אלגוריתמים היה בתוך העולם הפולינומי.
PComplexity classesFoundations
What was said on the recording (1)
- מתייחסים לבעיות שבתוך המחלקה פ
  ilc7hKBsa1Q @ 00:14:47
The lecture number was inferred from recording dates, not stated in the title.
RuleL2·32
Why P, even though n^100 is not efficient
$\mathrm{P}$ רחבה מאוד, והפער בין $\mathrm{DTIME}(n)$ ל- $\mathrm{DTIME}(n^{100})$ עצום — $n^{100}$ אינו ישים בפועל. ההצדקה לבחירה ב- $\mathrm{P}$ היא אמפירית: כשמצליחים לפתור בעיה בזמן פולינומי כלשהו, בדרך כלל מוצאים בהמשך גם פולינום קטן.
PComplexity classesFoundations
What was said on the recording (1)
- יש פער מאוד גדול נגיד בין
  ilc7hKBsa1Q @ 00:15:53
The lecture number was inferred from recording dates, not stated in the title.
ExampleL2·33
Hardness is also useful — RSA
שיטת ההצפנה RSA נשענת על ההשערה שפירוק מספר לגורמים ראשוניים אינו ניתן לפתרון בזמן פולינומי. לא ידוע להוכיח זאת — משערים בלבד, וזו הדגמה לכך שגם קושי חישובי הוא משאב.
PFoundations
What was said on the recording (1)
- שבעיית פירוק מספר לראשונים אינה ניתנת לפתרון
  ilc7hKBsa1Q @ 00:16:57
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·34
PSPACE ⊆ EXP
$\mathrm{PSPACE}\subseteq \mathrm{EXP}$ — כל שפה שניתן להכריע במקום פולינומי ניתן להכריע בזמן אקספוננציאלי.
$\mathrm{PSPACE}\subseteq \mathrm{EXP}$
השרשור: $A\in\mathrm{PSPACE}$ נותן $c$ ואז $M$ ו- $c'$ עם $\mathrm{SPACE}_M(x)\le c'|x|^{c}$ ; $M$ מכריעה ולכן עוצרת, אז $\mathrm{TIME}_M(x)\le 2^{c''\cdot c'\cdot |x|^{c}}$ . זה עדיין לא בצורת $2^{n^{d}}$ שההגדרה של EXP דורשת — צריך את הצעד האחרון.
Complexity classesPSPACETime vs space
What was said on the recording (1)
- שהמחלקה ppס מוחלת במחלקה אספ
  ilc7hKBsa1Q @ 00:22:29
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·35
Kill constants with "for large enough n" instead of hunting them
כשנתקעים עם ביטוי כמו $2^{c''c'\cdot n^{c}}$ שאינו בצורה הנדרשת, במקום לחפש את הקבוע המדויק — מראים שעבור $n\ge c''c'$ מתקיים $2^{c''c'n^{c}}\le 2^{n\cdot n^{c}} = 2^{n^{c+1}}$ , מסיקים $g=O(f)$ , ומשתמשים במונוטוניות המחלקות.
$n \ge c''c' \;\Rightarrow\; 2^{c''c'\cdot n^{c}} \le 2^{n^{c+1}}$
המרצה מציג את זה כדרך החשיבה הנכונה: "אנחנו מסתכלים על סדרי גודל", ולכן חושבים על מה קורה כשהקלט הולך וגדל ועובר את כל הקבועים. אפשר גם לצוד את הקבוע במפורש — זה עובד אבל דורש חלוקה למקרים ועבודה טכנית מיותרת.
Proof techniqueAsymptoticsComplexity classes
What was said on the recording (1)
- בואו ננסה לחשוב על קלטים שהולכים הולכים וגדלים
  ilc7hKBsa1Q @ 00:29:22
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL2·36
The question the hierarchy theorems answer
האם הקצאת יותר משאבים באמת נותנת יותר כוח? ברור ש- $\mathrm{DSPACE}(n)\subseteq\mathrm{DSPACE}(n^2)$ ; השאלה היא אם ההכלה ממש, כלומר אם יש בעיות שאפשר להכריע במקום הגדול ואי אפשר בקטן. התשובה: כן, תחת תנאים.
Hierarchy theoremsComplexity classes
What was said on the recording (1)
- האם יותר משאבים נותנים
  ilc7hKBsa1Q @ 00:36:14
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL2·37
The space hierarchy theorem
יהיו $f,g:\mathbb{N}\to\mathbb{N}$ . אם (1) $g = o(f)$ , (2) $f$ סופר-ליניארית, ו-(3) $f$ ישימה במקום — אז $\mathrm{DSPACE}(g)\subsetneq \mathrm{DSPACE}(f)$ , כלומר ההכלה ממש.
$g=o(f),\; f \text{ super-linear, space-constructible} \;\Rightarrow\; \mathrm{DSPACE}(g)\subsetneq \mathrm{DSPACE}(f)$
התנאי המהותי הוא $g=o(f)$ — לא מספיק ש- $f$ גדולה יותר, היא צריכה להיות גדולה יותר בסדר גודל. שני התנאים האחרים טכניים ומתקיימים כמעט תמיד. דוגמאות: $\mathrm{DSPACE}(n)\subsetneq\mathrm{DSPACE}(n\log n)\subsetneq\mathrm{DSPACE}(n^2)$ .
Hierarchy theoremsSpace complexityComplexity classesDiagonalization
What was said on the recording (1)
- משפט יררכת המקום
  ilc7hKBsa1Q @ 00:37:47
The lecture number was inferred from recording dates, not stated in the title.
DefinitionL2·38
Superlinear function
$f$ סופר-ליניארית אם $f(n)\ge n$ לכל $n$ — כלומר לפחות ליניארית.
$\forall n:\; f(n)\ge n$
התנאי כמעט תמיד מתקיים: בדרך כלל המכונה קוראת את כל הקלט, ולכן צריכה לפחות לעבור על תווי הקלט.
AsymptoticsHierarchy theorems
What was said on the recording (1)
- f של n גדול שווה מn לכל n
  ilc7hKBsa1Q @ 00:39:19
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·39
Space-constructible function
$f$ ישימה במקום אם קיימת מכונה $M$ מעל א"ב אונרי כך שלכל $n$ : $M(0^{n}) = 0^{f(n)}$ וגם $\mathrm{SPACE}_M(0^{n}) = O(f(n))$ .
$\exists M:\; M(0^{n})=0^{f(n)} \;\wedge\; \mathrm{SPACE}_M(0^{n}) = O(f(n))$
שני תנאים ולא אחד: מה היא מחשבת (הסמנטיקה), וכמה מקום זה עולה לה. אינטואיטיבית — אפשר לחשב את $f$ במקום שהוא לא גדול משמעותית מ- $f$ עצמה.
Hierarchy theoremsSpace complexityEncodings
What was said on the recording (1)
- f תקרא סימן במקום
  ilc7hKBsa1Q @ 00:42:31
- ASR: "סימן במקום" / "ישימה במקום" — הכוונה space-constructible.
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL2·40
Every elementary function is space-constructible — you may assume it
$n^2$ , $2^{n}$ , $\log n$ , $\sqrt{n}$ וכל הפונקציות הסטנדרטיות ישימות במקום. הטענה ניתנת לשימוש ללא הוכחה — אין צורך לאמת את התנאי הטכני בכל פעם.
Hierarchy theoremsSpace complexity
What was said on the recording (1)
- כל ה פונקציות האלמנטריות ישמות במקום
  ilc7hKBsa1Q @ 00:44:39
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·41
A strict containment is two proofs
כדי להוכיח $X\subsetneq Y$ צריך שני דברים: $X\subseteq Y$ , וגם $Y\not\subseteq X$ . במשפט ההיררכיה הכיוון הראשון כמעט חינם — $g=o(f)$ גורר $g=O(f)$ ולכן $\mathrm{DSPACE}(g)\subseteq\mathrm{DSPACE}(f)$ ; כל הכובד בכיוון השני.
Proof techniqueHierarchy theorems
What was said on the recording (1)
- צריך להראות שאחד מוכל בשני ושני לא מוכל בראשון
  ilc7hKBsa1Q @ 00:46:52
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL2·42
Proving non-membership is fundamentally harder
להראות ש- $A\in\mathrm{DSPACE}(f)$ פשוט יחסית — מציגים מכונה. להראות ש- $A\notin\mathrm{DSPACE}(g)$ דורש לשלול כל מכונה בעולם עם מקום $O(g)$ , וזה מחייב טכניקה אחרת. אותו קושי בדיוק כמו ההבדל בין "קריאה" ל"לא קריאה" בחישוביות.
Proof techniqueHierarchy theoremsDiagonalization
What was said on the recording (1)
- אני צריך להראות שלא קיימת שום מכונה בעולם
  ilc7hKBsa1Q @ 00:49:04
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL2·43
The diagonal language S_f
$S_f = \{\langle M\rangle : M$ דוחה את $\langle M\rangle$ , וגם $\mathrm{SPACE}_M(\langle M\rangle) \le f(|\langle M\rangle|)/\log|\Gamma_M|\}$ .
$S_f=\{\langle M\rangle : M \text{ rejects } \langle M\rangle \;\wedge\; \mathrm{SPACE}_M(\langle M\rangle)\le f(|\langle M\rangle|)/\log|\Gamma_M|\}$
בלי התנאי השני זו וריאציה על בעיית העצירה — שפה שאינה קריאה כלל. תוספת חסם המקום היא בדיוק מה שהופך אותה לקריאה, ובמקום $O(f)$ . החלוקה ב- $\log|\Gamma_M|$ היא בגלל שהמכונה האוניברסלית עובדת בבינארית ומשלמת $\log|\Gamma|$ ביטים לכל תו.
Hierarchy theoremsDiagonalizationSpace complexityHalting
What was said on the recording (1)
- אם א המכונה M
  ilc7hKBsa1Q @ 00:51:10
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·44
Deciding S_f: a universal machine with two counters
וריאציה של המכונה האוניברסלית שמסמלצת את ריצת $M$ על $\langle M\rangle$ ובמקביל סופרת את התאים השונים שנכתבו. אם $M$ חורגת מהמקום המותר — דוחים באמצע הסימולציה. אם הסימולציה הסתיימה — מחזירים את התשובה ההפוכה מזו של $M$ .
המכונה תיבנה כרב-סרטית: חמשת סרטי המכונה האוניברסלית ועוד שניים — סרט שסופר תאים וסרט שסופר צעדים. המעבר למכונה סטנדרטית לא עולה דבר בסדר גודל של מקום (הוא כן עולה ריבוע בזמן — ולכן משפט היררכיית הזמן קשה יותר, והוא ניתן כתרגיל).
Hierarchy theoremsUniversal machineDiagonalizationMulti-tape machines
What was said on the recording (1)
- היא עושה את הסימולציה כמו המכונה האוניברסלית
  ilc7hKBsa1Q @ 00:55:18
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·45
When the input IS the machine, the machine-dependent constant becomes input-dependent
החסם $\mathrm{TIME}_M(x)\le 2^{c_M\cdot \mathrm{SPACE}_M(x)}$ תקף כש- $c_M$ תלוי במכונה ולא בקלט. אבל כאן המכונה היא הקלט, ולכן $c_M$ הופך לתלוי-בקלט — ואי אפשר להשתמש בחסם ישירות. צריך חסם אחיד לכל המכונות.
זו הנקודה העדינה של כל ההוכחה, והיא בדיוק החרדה מסדר הכמתים שהודגשה בשיעור הראשון.
QuantifiersHierarchy theoremsTime vs spaceProof technique
What was said on the recording (1)
- הבעיה שפה המכונה היא הכלת
  ilc7hKBsa1Q @ 00:58:29
The lecture number was inferred from recording dates, not stated in the title.
LemmaRememberL2·46
Helper lemma: a uniform step bound with the constant 3
תהי $f$ סופר-ליניארית. לכל מכונה $M$ : אם $M$ עוצרת על $\langle M\rangle$ וגם $\mathrm{SPACE}_M(\langle M\rangle)\le f(|\langle M\rangle|)/\log|\Gamma_M|$ , אז $\mathrm{TIME}_M(\langle M\rangle)\le 2^{\,3f(|\langle M\rangle|)}$ . הקבוע 3 אינו תלוי במכונה.
$\mathrm{TIME}_M(\langle M\rangle)\le 2^{\,3f(|\langle M\rangle|)}$
ההוכחה היא אותו חישוב קונפיגורציות כמו קודם, רק שחוסמים אחרת: $|Q_M|\cdot|\Gamma_M|^{s}\cdot s = 2^{\log|Q_M| + s\log|\Gamma_M| + \log s}$ . חוסמים $s\log|\Gamma_M| \le f$ , $\log s \le s \le f$ , ו- $\log|Q_M|\le |\langle M\rangle| \le f$ (זו הסופר-ליניאריות) — שלושה מחוברים, כל אחד חסום ב- $f$ , ומכאן $2^{3f}$ .
Hierarchy theoremsConfigurationsTime vs spaceProof technique
What was said on the recording (1)
- מספר הצעדים שהם מבצעת כשהיא רצה על הקידות של עצמה
  ilc7hKBsa1Q @ 01:09:16
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL2·47
Count in binary: a counter to 2^{3f} costs only O(f) space
מונה שסופר עד $2^{3f(|\langle M\rangle|)}$ צעדים דורש $\log$ של המספר, כלומר $3f(|\langle M\rangle|)$ ביטים — כלומר $O(f)$ מקום, שנכנס בדיוק בתקציב. באונרית זה לא היה נכנס.
זו הנקודה שמצילה את ההוכחה מול ההצעות שנפסלו בכיתה: לרשום את כל הקונפיגורציות כדי לזהות מעגל דורש מקום עצום; לספור צעדים בבינארית דורש רק לוגריתם ממנו.
Hierarchy theoremsSpace complexityEncodingsProof technique
What was said on the recording (1)
- אם אני עושה את זה בעיצוג בינרי
  ilc7hKBsa1Q @ 01:21:36
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL2·48
You must return to the standard machine at the end
נוח לבנות את המכריע כמכונה רב-סרטית, אבל ההגדרה של $\mathrm{DSPACE}$ מדברת על מכונה סטנדרטית. חייבים לומר במפורש שקיימת מכונה סטנדרטית — ובמקום זה לא עולה דבר בסדר גודל. בזמן זה כן עולה ריבוע, ולכן משפט היררכיית הזמן דורש עבודה נוספת.
Multi-tape machinesHierarchy theoremsModel robustnessProof technique
What was said on the recording (1)
- אנחנו נצטרך להגיד גם שיש מכונה סטנדרטית שמכריעה את זה
  ilc7hKBsa1Q @ 01:23:45
The lecture number was inferred from recording dates, not stated in the title.
Lecture 3
TheoremL3·1
Monotonicity holds for space too
אם $g=O(f)$ אז גם $\mathrm{DSPACE}(g)\subseteq \mathrm{DSPACE}(f)$ , ולא רק $\mathrm{DTIME}$ . אותה הוכחה בדיוק — היא אינה משתמשת בשום דבר ייחודי לזמן.
$g=O(f)\;\Rightarrow\;\mathrm{DSPACE}(g)\subseteq \mathrm{DSPACE}(f)$
Complexity classesSpaceAsymptotics
What was said on the recording (1)
- אז אותה הוכחה בדיוק עובדת גם במקום
  2coiPuG7Pe4 @ 00:01:06
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL3·2
Without the space condition the diagonal language is undecidable
אם משאירים ב- $S_f$ רק את התנאי " $M$ דוחה את $\langle M\rangle$ ", מתקבלת שפה שאף מכונה בעולם אינה מכריעה — בדיוק אותו טיעון לכסון כמו בבעיית העצירה.
אם $M'$ מכריעה אותה ומריצים אותה על $\langle M'\rangle$ : קיבלה $\Rightarrow$ שייכת $\Rightarrow$ הייתה צריכה לדחות; דחתה $\Rightarrow$ שייכת $\Rightarrow$ הייתה צריכה לקבל. הקידוד של עצמה הוא תמיד קלט שעליו היא טועה.
DiagonalizationHaltingHierarchy theorems
What was said on the recording (1)
- שפה שהיא לא קריאה בכלל כלומר אף מכונה לא יכולה להכריע את השפה הזאת
  2coiPuG7Pe4 @ 00:05:22
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·3
What the space condition does: it splits the machines in two
תוספת תנאי המקום ל- $S_f$ אינה הופכת את השפה לקריאה "סתם", אלא קריאה בדיוק בצורה הנכונה: כל מכונה שמקומה $O(g)$ מקיימת את התנאי אוטומטית (כי $g=o(f)$ ) ולכן נופלת ללכסון ואינה מכריעה; מכונה שמקומה גדול מהחסם אינה מקיימת את התנאי, יכולה לדחות את עצמה בלי סתירה, ולכן יש לה סיכוי להכריע.
זה כל הרעיון של המשפט. אם היינו שמים שם תנאי טריוויאלי (" $2>1$ ") השפה הייתה נשארת לא קריאה; אם לא היה תנאי בכלל — אותו דבר. התנאי הספציפי הזה הוא מה שמפריד את $\mathrm{DSPACE}(g)$ מ- $\mathrm{DSPACE}(f)$ .
Hierarchy theoremsDiagonalizationSpace complexity
What was said on the recording (1)
- בדיוק מחלק את את המכונות
  2coiPuG7Pe4 @ 00:11:36
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·4
Dividing by log|Γ_M| decouples the bound from the machine
המכונה האוניברסלית משלמת במקום $O(\mathrm{SPACE}_M(x)\cdot\log|\Gamma_M|)$ . החלוקה ב- $\log|\Gamma_M|$ בהגדרת $S_f$ גורמת לשני הגורמים להצטמצם, ולכן המקום שהמכריע צורך הוא $O(f)$ ללא תלות במכונה שהתקבלה כקלט — ולא $O(f)$ כפול משהו שתלוי ב- $M$ .
אותו דבר קורה בזמן: הגורם הדומיננטי בחסם הצעדים היה $2^{\mathrm{SPACE}\cdot\log|\Gamma_M|}$ , וגם שם ה- $\log|\Gamma_M|$ מצטמצם ונותן $2^{O(f)}$ שאינו תלוי במכונה.
Hierarchy theoremsUniversal machineEncodingsSpace complexity
What was said on the recording (1)
- החלוקה הזאת בלוגם הM בדיוק באה בשביל שנוכל להריץ את האוניברסלית
  2coiPuG7Pe4 @ 00:15:54
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL3·5
The contrapositive of the helper lemma
אם $M$ ביצעה יותר מ- $2^{3f(|\langle M\rangle|)}$ צעדים, אז או שהמקום שלה חורג מהחסם או שהיא אינה עוצרת. שני המקרים הם סיבה לדחות — וזה בדיוק מה שמצדיק את מונה הזמן.
Hierarchy theoremsHaltingProof technique
What was said on the recording (1)
- או שהיא משתמשת ביותר מהמקום הזה או שהיא לא עוצרת
  2coiPuG7Pe4 @ 00:31:20
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·6
"Does not reject" is not "accepts"
כשמפצלים מקרים לפי אי-שייכות ל- $S_f$ , התנאי הוא " $M$ אינה דוחה את $\langle M\rangle$ " — וזה מכסה שתי אפשרויות: שהיא מקבלת, או שהיא אינה עוצרת כלל. חייבים לטפל בשתיהן בנפרד.
אם אינה עוצרת — מונה הזמן ירד מתחת לאפס והמכריע דוחה. אם מקבלת — הסימולציה מסתיימת והמכריע מחזיר את ההפך, כלומר דוחה. בשני המקרים דוחים, כנדרש.
HaltingProof techniqueDiagonalization
What was said on the recording (1)
- יש פה אפשרות אחת שהיא מקבלת זה נכון אבל יכול להיות שמה עוד
  2coiPuG7Pe4 @ 00:41:40
The lecture number was inferred from recording dates, not stated in the title.
ClaimL3·7
The decider's space accounting: three stages
המקום שהמכריע צורך הוא סכום שלושה שלבים: חישוב מונה המקום ( $c_1 f$ ), חישוב מונה הזמן ( $3c_2 f$ ), והסימולציה ( $3c_3 f$ ) — סך הכל $(c_1+3c_2+3c_3)\cdot f(|\langle M\rangle|) = O(f)$ , וכל הקבועים אינם תלויים בקלט.
$\mathrm{SPACE} \le (c_1 + 3c_2 + 3c_3)\cdot f(|\langle M\rangle|)$
בשלב הסימולציה מקבלים $c_3(2|\langle M\rangle| + f(|\langle M\rangle|))$ , וכאן נכנסת הסופר-ליניאריות: $|\langle M\rangle|\le f(|\langle M\rangle|)$ , ולכן הכל נבלע ב- $3c_3 f$ .
Hierarchy theoremsSpace complexityProof technique
What was said on the recording (1)
- יש לנו את C1
  2coiPuG7Pe4 @ 00:56:43
- הביטוי המדויק משובש ב-ASR; הקבועים משוחזרים מהחישוב שנעשה בקול.
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL3·8
Conversion to a standard machine is always available
לכל מכונה רב-סרטית יש מכונה סטנדרטית שקולה סמנטית שהמקום שלה הוא $O$ של אותו מקום. זו שקילות שנכונה תמיד ואפשר להסתמך עליה בכל הוכחה, בלי תלות בנתוני השאלה.
Multi-tape machinesModel robustnessSpaceProof technique
What was said on the recording (1)
- זה שקלות שהיא נכונה תמיד
  2coiPuG7Pe4 @ 00:59:53
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·9
Pad with states, never with alphabet symbols
כדי להגדיל את אורך קידוד המכונה בלי לשנות את פעולתה, אפשר להוסיף תווי א"ב עבודה או מצבי סרק. חייבים לבחור מצבים: הוספת תווי א"ב תגדיל גם את $|\Gamma_M|$ , שהוא המכנה בתנאי המקום — ואז הטריק נהרס.
בהוכחה מתייחסים ל- $\log|\Gamma_M|$ כאל קבוע (הוא בתוך ה- $\varepsilon$ שבחרנו), ולכן אסור שישתנה. מצבי סרק מגדילים את טבלת $\delta$ ולכן את הקידוד, בלי לגעת ב- $\Gamma$ .
PaddingHierarchy theoremsEncodingsDiagonalization
What was said on the recording (1)
- אני רוצה כן להגדיל את האורך של הקידוד שלה בלי להגדיל את האורך של האלב שלה
  2coiPuG7Pe4 @ 01:16:46
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·10
Where the square in the time hierarchy comes from
כל ההוכחה זהה לגרסת המקום עד לנקודה אחת: ההמרה ממכונה רב-סרטית למכונה סטנדרטית. במקום ההמרה עולה קבוע בלבד; בזמן היא עולה ריבוע. לכן התוצאה היא $\mathrm{DTIME}(g)\subsetneq \mathrm{DTIME}(f^{2})$ ולא $\mathrm{DTIME}(f)$ .
Hierarchy theoremsTimeMulti-tape machinesModel robustness
What was said on the recording (1)
- מהמרה אולי מרב סרטית ל לאחד
  2coiPuG7Pe4 @ 01:37:58
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·11
In the time version you pad the input, not the machine
בזמן, האוניברסלית משלמת $|\langle M\rangle|$ לכל צעד, ולכן תנאי השפה מחלק ב- $|\langle M\rangle|$ . אז ניפוח המכונה מגדיל את המונה ואת המכנה גם יחד והטריק נהרס. הפתרון: מגדירים את השפה כך שאפשר לרפד את הקלט (למשל בסולמיות), וכך מגדילים את אורך הקלט בלי לגעת בקידוד המכונה.
לכן השפה במשפט היררכיית הזמן לא תיראה בדיוק כמו $S_f$ — יהיה בה רכיב ריפוד נוסף.
Hierarchy theoremsTimePaddingUniversal machine
What was said on the recording (1)
- להגדיל את האורך של הכלת בלי להגדיל את
  2coiPuG7Pe4 @ 01:42:40
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·12
The quantifier swap: the wrong proof of P ⊊ EXP
משפט ההיררכיה נותן: לכל $c$ קיימת $A\in\mathrm{EXP}$ שאינה ב- $\mathrm{DTIME}(n^{c})$ . מה שצריך להוכיח הוא: קיימת $A\in\mathrm{EXP}$ שלכל $c$ אינה ב- $\mathrm{DTIME}(n^{c})$ . הכיוון השני גורר את הראשון — לא להפך.
$\forall c\,\exists A\;(\dots) \;\not\Rightarrow\; \exists A\,\forall c\;(\dots)$
זו הטעות שקל ליפול אליה: להפעיל את משפט ההיררכיה על כל אחת מהמחלקות באיחוד בנפרד ולהסיק על האיחוד. שפה אחרת לכל $c$ אינה מספיקה; צריך שפה אחת שנמצאת מחוץ לכולן.
QuantifiersHierarchy theoremsComplexity classesProof technique
What was said on the recording (1)
- צריך להראות שקיימת A באקספ
  2coiPuG7Pe4 @ 01:48:37
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·13
Containment survives unions; strict containment does not
אם כל $A_i \subseteq B$ אז $\bigcup_i A_i \subseteq B$ — תמיד. אבל אם כל $A_i \subsetneq B$ , לא נובע ש- $\bigcup_i A_i \subsetneq B$ . דוגמה: $A_1=\{1\}$ , $A_2=\{2\}$ , $B=\{1,2\}$ .
$\forall i\; A_i\subsetneq B \;\not\Rightarrow\; \textstyle\bigcup_i A_i \subsetneq B$
זו הסיבה המבנית לכך שאסור להפעיל משפט היררכיה על מחלקה גסה איבר-איבר.
Proof techniqueComplexity classes
What was said on the recording (1)
- לא מספיק להראות שלכל אחת מהק הקבוצות באיחוד
  2coiPuG7Pe4 @ 01:51:18
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·14
The pattern: route through one refined class in the middle
כדי להוכיח הכלה ממש בין שתי מחלקות גסות, עוברים דרך מחלקה אחת שאינה איחוד. מראים גסה $\subseteq$ עדינה (הכלה — נשמרת תחת איחוד), מפעילים את משפט ההיררכיה על העדינות, ואז עדינה $\subseteq$ גסה. השפה המפרידה שמתקבלת היא אחת, ולכן היא מחוץ לכל האיחוד האינסופי.
השרשרת המלאה: $\mathrm{P}=\bigcup_c\mathrm{DTIME}(n^{c}) \subseteq \mathrm{DTIME}(2^{n}) \subsetneq \mathrm{DTIME}(2^{4n}) \subseteq \mathrm{DTIME}(2^{n^{2}}) \subseteq \mathrm{EXP}$ .
Hierarchy theoremsComplexity classesProof techniqueP
What was said on the recording (1)
- לעבור באמצע מאיזשהיא מחלקה שהיא מחלקה אחת שהיא לא איכות של מחלקות
  2coiPuG7Pe4 @ 01:53:55
- ASR: "איכות" = "איחוד".
The lecture number was inferred from recording dates, not stated in the title.
TheoremL3·15
P ⊆ PSPACE via union-preservation
לכל $c$ מתקיים $\mathrm{DTIME}(n^{c})\subseteq\mathrm{DSPACE}(n^{c})$ , ומכיוון שהכלה נשמרת תחת איחוד — $\mathrm{P}\subseteq\mathrm{PSPACE}$ .
$\mathrm{P}\subseteq\mathrm{PSPACE}$
Complexity classesPPSPACETime vs space
What was said on the recording (1)
- לכן p מוחלת בpספי
  2coiPuG7Pe4 @ 02:04:35
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL3·16
Somewhere in the chain there is a strict containment — nobody knows where
מ- $\mathrm{P}\subseteq\mathrm{PSPACE}\subseteq\mathrm{EXP}$ ומ- $\mathrm{P}\subsetneq\mathrm{EXP}$ נובע שלפחות אחת מהשתיים ממש. איפה — לא ידוע. זהו מאפיין מרכזי של התחום: יודעים משהו חלקי אבל לא יודעים להצביע.
המרצה מקשר את זה מראש ל- $\mathrm{P}$ מול $\mathrm{NP}$ : שתי מחלקות שנראות דומות, ידוע שאחת מוכלת בשנייה, ולא ידוע אם ההכלה ממש.
Complexity classesPPSPACENP
What was said on the recording (1)
- אחת מהאהכלות
  2coiPuG7Pe4 @ 02:05:08
- ASR משבש; האמירה נשמעת פעמיים בקטע.
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·17
A multiplicative constant in the exponent cannot be absorbed
קבוע כפלי מחוץ לחזקה תמיד נבלע ב- $O$ . קבוע כפלי בתוך החזקה — לא: $2^{2n}$ ו- $2^{n}$ אינם מאותו סדר גודל כלל.
$2^{2n} \ne \Theta(2^{n})$
המרצה מסמן את זה כ"הבנה מאוד חשובה", ומוסיף כלל עבודה: תמיד לשים לב להבדלים ברמת המחרוזת — אם הביטוי לא נראה בדיוק כמו ההגדרה, אל תניחו שהוא כן.
AsymptoticsComplexity classesnotation
What was said on the recording (1)
- קבוע כפלי בחזקה אני לא יכול לעשות את
  Eqk3K9frjx8 @ 00:07:14
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·18
Kill an exponent constant by raising the power of n by one
$2^{d\cdot n^{c}} \le 2^{n^{c+1}}$ עבור $n$ גדול מספיק. הגדלת החזקה של $n$ ב-1 בולעת כל קבוע כפלי שיושב בתוך החזקה.
$2^{d\cdot n^{c}} \le 2^{n^{c+1}}$
אינטואיציה: $2^{2n}$ הרבה יותר גדול מ- $2^{n}$ , אבל הרבה יותר קטן מ- $2^{n^2}$ . גם $c\cdot d$ בחזקה היה עובד, אבל $c+1$ פשוט יותר. זה בדיוק הצעד שמשלים את ההוכחה של $\mathrm{PSPACE}\subseteq\mathrm{EXP}$ .
AsymptoticsProof techniqueComplexity classes
What was said on the recording (1)
- אם אני מגדיל את החזקה של N אז הקבוע הזה
  Eqk3K9frjx8 @ 00:10:56
The lecture number was inferred from recording dates, not stated in the title.
RuleL3·19
The intuition: the resource is a budget
הכלה בין מחלקות פירושה: הגדלתי את התקציב, ולכן כל מה שיכולתי להכריע קודם אני עדיין יכול להכריע. זו "תוצאה חיובית", והיא הגיונית לחלוטין. השאלה המעניינת היא ההפוכה — האם תקציב גדול יותר נותן לי גם יותר.
Complexity classesHierarchy theorems
What was said on the recording (1)
- הזמן בתור התקציב שלי אוקיי כי זה המשאב
  Eqk3K9frjx8 @ 00:14:05
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·20
The "dream version" of the hierarchy theorem is unknown — do not use it
הניסוח שהיינו רוצים — " $g=o(f)$ $\Rightarrow$ $\mathrm{DSPACE}(g)\subsetneq\mathrm{DSPACE}(f)$ , בלי תנאים נוספים" — אינו ידוע ואיש לא הוכיח אותו. הוא משקף את האינטואיציה, אבל אסור להשתמש בו.
בניגוד אליו, המשפט "כל פונקציה אלמנטרית ישימה במקום ובזמן" הוא משפט אמיתי שאנחנו לא מוכיחים — בו כן מותר להשתמש. חשוב להבחין בין השניים.
Hierarchy theoremsComplexity classes
What was said on the recording (1)
- זה גרסת החלומות
  Eqk3K9frjx8 @ 00:17:22
The lecture number was inferred from recording dates, not stated in the title.
RuleL3·21
In complexity there is no more bottom
מכאן ואילך הפונקציות הן $f:\mathbb{N}\to\mathbb{N}$ — מלאות וחשיבות. כמעט לא מתעסקים יותר בפונקציות שאינן חשיבות; הצלילה היא לתוך $R$ .
FoundationsComplexity classes
What was said on the recording (1)
- נגמרו ימי הבוטם
  Eqk3K9frjx8 @ 00:24:18
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL3·22
Every elementary function is space- and time-constructible
כל הפונקציות האלמנטריות — פולינומים, אקספוננטים, לוגריתמים — ישימות במקום וגם בזמן. זהו משפט אמיתי שלא נוכיח, ומותר להשתמש בו.
כלומר: בכל שאלה שמפעילה משפט היררכיה, אין צורך לאמת את התנאי הטכני — די להצביע על כך שהפונקציה אלמנטרית.
Hierarchy theoremsSpace complexityTime
What was said on the recording (1)
- ישימות במקום ובזמן
  Eqk3K9frjx8 @ 00:25:24
- הציטוט משובש; המשפט נאמר בבירור פעמיים בקטע.
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·23
Positive results versus negative results
כל האלגוריתמיקה שראיתם בתואר היא תוצאות חיוביות ("אני יכול"). תוצאות שליליות ("אי אפשר") הופיעו לראשונה בחישוביות, הן קשות בהרבה, ותראו מעט מאוד כאלה. משפט ההיררכיה הוא התוצאה השלילית הראשונה בסיבוכיות.
הכלל המעשי שנגזר מזה: כשצריך להוכיח תוצאה שלילית, נסו להישען על משהו שכבר הוכח — לא לבנות אותה בידיים.
Proof techniqueHierarchy theoremsFoundations
What was said on the recording (1)
- תוצאות שליליות הרבה יותר
  Eqk3K9frjx8 @ 00:29:42
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL3·24
Strict containment
$A\subsetneq B$ פירושו $A\subseteq B$ וגם $B\not\subseteq A$ . "ממש" אינו אומר "הרבה יותר" — רק "יותר".
$A\subsetneq B \iff A\subseteq B \;\wedge\; B\not\subseteq A$
המשמעות המעשית: הוכחת הכלה ממש היא תמיד שתי הוכחות נפרדות שאינן תלויות זו בזו, והשנייה (אי-ההכלה) היא זו שדורשת קיום של שפה מפרידה.
Proof techniqueComplexity classes
What was said on the recording (1)
- פירושו A מוחלת בB וגם B אינה מוחלת בA
  Eqk3K9frjx8 @ 00:31:45
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·25
Building M_F: the universal machine plus two counters
$M_F$ מבוססת על המכונה האוניברסלית עם שני סרטים נוספים: מונה מקום שנכתב באונרית עם $f(|\langle M\rangle|)/\log|\Gamma_M|$ אפסים, ומונה זמן שנכתב בבינארית עם $3f(|\langle M\rangle|)$ אפסים ו-1 משמאלם.
בכל צעד מסומלץ מורידים 1 ממונה הזמן (בבינארית); בכל פעם ש- $M$ כותבת בתא חדש מוחקים אפס ממונה המקום (מזהים תא חדש על ידי סימון תאים שנכתבו — הרחבת א"ב). אם מונה כלשהו היה יורד מתחת לאפס — $M_F$ דוחה. אם הסימולציה הסתיימה — $M_F$ מחזירה את התשובה ההפוכה מזו של $M$ .
Hierarchy theoremsUniversal machineDiagonalizationMulti-tape machines
What was said on the recording (1)
- המבוססת על האוניברסלית
  Eqk3K9frjx8 @ 00:39:33
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL3·26
Why S_f divides by log|Γ_M|
החלוקה ב- $\log|\Gamma_M|$ בתנאי המקום של $S_f$ קיימת כדי שהיא תצטמצם מול ה- $\log|\Gamma|$ שהמכונה האוניברסלית משלמת על כל תו. בלעדיה החישוב לא נסגר.
Hierarchy theoremsUniversal machineEncodings
What was said on the recording (1)
- אם תהיתם למה היינו צריכים את הל
  Eqk3K9frjx8 @ 00:53:51
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·27
A counter costs space to compute, not just to store
כדי לכתוב $3f(|\langle M\rangle|)$ אפסים צריך קודם לחשב את $f$ — וגם החישוב הזה עולה מקום. זו בדיוק הנקודה שבה נכנס התנאי " $f$ ישימה במקום".
המרצה מציין שאפשר לעקוב אחרי המשפט לפי "איפה כל תנאי נכנס": ישימות במקום נכנסת כאן, סופר-ליניאריות בחסימת $\log|Q_M|\le|\langle M\rangle|\le f$ , ו- $g=o(f)$ רק בחלק השני.
Hierarchy theoremsSpace complexityProof technique
What was said on the recording (1)
- לא רק המקום שהמונה הזה לוקח בסוף אלא גם המקום שאני צריך כדי לחשב
  Eqk3K9frjx8 @ 01:03:04
The lecture number was inferred from recording dates, not stated in the title.
ClaimL3·28
The final constant for M_F
המקום ש- $M_F$ צורכת חסום ב- $(\alpha + 3\beta + 3\gamma)\cdot f(|\langle M\rangle|)$ , כאשר $\alpha$ מחישוב מונה המקום, $\beta$ מחישוב מונה הזמן, ו- $\gamma$ מהסימולציה. הקבוע הסופי הוא $c = \hat c\,(\alpha+3\beta+3\gamma)$ , כש- $\hat c$ מגיע מהמעבר למכונה סטנדרטית.
$c = \hat c\,(\alpha + 3\beta + 3\gamma)$
Hierarchy theoremsSpace complexityProof technique
What was said on the recording (1)
- אלפא ועוד 3 בטא ועוד 3 גמא
  Eqk3K9frjx8 @ 01:09:32
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·29
Read a long proof as expand/collapse
הוכחה גדולה נקראת כמו תוכן עניינים מתקפל. ברמה העליונה: "נתבונן ב- $\hat M_F$ , נתבונן בקבוע $c$ ; היא מכריעה את $S_f$ ובמקום $\le c\cdot f$ , ולכן $S_f\in\mathrm{DSPACE}(f)$ ". רק אחר כך נכנסים פנימה לכל טענה בנפרד.
המבנה הזה — התבוננות במכונה, התבוננות בקבוע — הוא סטנדרטי לחלוטין לכל הוכחת שייכות למחלקה. לזהות אותו הוא חצי מהעבודה.
Proof techniqueExam
What was said on the recording (1)
- שיש לכם expand
  Eqk3K9frjx8 @ 01:15:51
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·30
When proof by contradiction is the right tool
הוכחה בשלילה אינה אוטומט שמפעילים על כל שאלה — אבל כשרוצים להוכיח שמשהו לא קורה, היא הכלי par excellence. שם אין ברירה.
Proof technique
What was said on the recording (1)
- כשאני רוצה להוכיח שמשהו לא קורה
  Eqk3K9frjx8 @ 01:19:37
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·31
g=o(f) is a limit, and ε is chosen from constants already in hand
$g=o(f)$ פירושו $\lim_{n\to\infty} g(n)/f(n) = 0$ . בהוכחה בוחרים $\varepsilon = \frac{1}{c\cdot\log|\Gamma_{M_G}|}$ ומקבלים $n_0$ שממנו והלאה $g(n)/f(n)<\varepsilon$ .
$g=o(f) \iff \lim_{n\to\infty}\frac{g(n)}{f(n)}=0$
מותר לבחור בדיוק את ה- $\varepsilon$ הזה כי בנקודה הזו בהוכחה $c$ ו- $\Gamma_{M_G}$ כבר ידועים וקבועים. זהו שוב אותו כלל: קבוע נבנה רק ממה שכבר ביד.
AsymptoticsProof techniqueHierarchy theoremsQuantifiers
What was said on the recording (1)
- זה הגדרת הגבול
  Eqk3K9frjx8 @ 01:22:48
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·32
The padding trick: add dead states to inflate the encoding
בונים $\hat M_G$ זהה ל- $M_G$ אלא שהוספו לה $n_0$ מצבים שלעולם לא מגיעים אליהם. התוצאה: אותה סמנטיקה בדיוק, אבל $|\langle \hat M_G\rangle|\ge n_0$ — כלומר הכנסנו את המכונה לתחום שבו הגבול כבר תקף.
קריטי: הוספנו רק מצבים. הא"ב לא שונה, ולכן $\Gamma_{M_G} = \Gamma_{\hat M_G}$ — וזה מה שמאפשר להחליף ביניהם בסוף החישוב. גם $\mathrm{SPACE}_{\hat M_G}(\langle\hat M_G\rangle) = \mathrm{SPACE}_{M_G}(\langle\hat M_G\rangle)$ , כי הריצה זהה.
PaddingHierarchy theoremsDiagonalizationEncodings
What was said on the recording (1)
- אלא שהוספנו לה N0 מצבים
  Eqk3K9frjx8 @ 01:25:32
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·33
The contradiction: run the machine on its own encoding
מריצים את $\hat M_G$ על $\langle \hat M_G\rangle$ ומפצלים לשני מקרים. מקבלת: מהסמנטיקה $\langle\hat M_G\rangle\in S_f$ , ומההגדרה של $S_f$ היא הייתה צריכה לדחות — סתירה. דוחה: אז $\langle\hat M_G\rangle\notin S_f$ , ומכיוון שתנאי הדחייה כן מתקיים, חייב להיכשל תנאי המקום — ומכאן סתירה מספרית.
בענף השני משרשרים: $\mathrm{SPACE} > f/\log|\Gamma|$ מצד אחד, ומצד שני $\mathrm{SPACE} \le c\cdot g \le c\cdot f/(c\log|\Gamma|) = f/\log|\Gamma|$ — כלומר גודל גדול ממש מעצמו.
DiagonalizationHierarchy theoremsProof technique
What was said on the recording (1)
- על איזה כלט אני אריץ את MG
  Eqk3K9frjx8 @ 01:29:53
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueL3·34
Non-membership in an AND condition kills one of the two
תנאי הכניסה ל- $S_f$ מורכב משני חלקים המחוברים ב"וגם". לכן אי-שייכות אומרת שאחד מהם נכשל; אם ידוע שהראשון (דחייה) מתקיים — בהכרח נכשל השני (חסם המקום).
Proof techniqueDiagonalization
What was said on the recording (1)
- או שהיא לא מקיימת את את התנאי של הדחייה או שהיא לא מקיימת את התנאי של המקום
  Eqk3K9frjx8 @ 01:34:19
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceRememberL3·35
When stuck on a step, assume it and move on
אל תיעצרו בנקודה שלא הבנתם. הניחו שהמעבר נכון והמשיכו הלאה. אחרי מעבר ראשון תישארו עם חמש-שש נקודות ספציפיות ולא עם "לא הבנתי כלום"; במעבר שני יישארו שתיים-שלוש.
המרצה מדגיש שזה עניין של תחושה ולא רק של טכניקה: "פחות תסכול, פחות ייאוש, יותר קונקרטי" — ואז אפשר להגיע לשעת קבלה עם שאלה מדויקת.
ExamProof technique
What was said on the recording (1)
- בוא נניח שהמעבר הזה נכון אני לא מבין למה
  Eqk3K9frjx8 @ 01:45:18
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL3·36
The time hierarchy theorem
יהיו $f,g:\mathbb{N}\to\mathbb{N}$ . אם $g=o(f)$ , $f$ ישימה בזמן ו- $f$ סופר-ליניארית, אז $\mathrm{DTIME}(g)\subsetneq \mathrm{DTIME}(f^{2})$ .
$g=o(f),\; f \text{ time-constructible, super-linear} \;\Rightarrow\; \mathrm{DTIME}(g)\subsetneq \mathrm{DTIME}(f^{2})$
שימו לב לריבוע — בזמן אפשר להגיד פחות מאשר במקום. מקור הריבוע: המעבר ממכונה רב-סרטית לחד-סרטית עולה $\mathrm{TIME}\cdot\mathrm{SPACE}$ , ובלי מידע על המקום החסם הטוב ביותר הוא $\mathrm{SPACE}\le\mathrm{TIME}$ — כלומר $\mathrm{TIME}^{2}$ . במקום המעבר עולה רק קבוע, ולכן שם אין ריבוע.
Hierarchy theoremsTimeComplexity classesMulti-tape machines
What was said on the recording (1)
- DT G מוכל ממש בD של F בריבוע
  Eqk3K9frjx8 @ 01:48:31
- הניסוח על הלוח משובש ב-ASR; שוחזר מהדיון על מקור הריבוע.
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·37
In the time hierarchy you divide by the full encoding, not by log|Γ|
המכונה האוניברסלית משלמת במקום רק $\log|\Gamma_M|$ לכל תו, אך בזמן היא משלמת $|\langle M\rangle|$ לכל צעד. לכן בהגדרת השפה המקבילה מחלקים ב- $|\langle M\rangle|$ — וכתוצאה מכך טריק ניפוח המצבים כבר לא עובד וצריך טריק אחר.
"השמיכה הקצרה": ברגע שהמכנה תלוי בכל הקידוד ולא רק ב- $\Gamma$ , ניפוח המכונה משנה גם את המכנה. זהו התרגיל המודרך בשיעורי הבית.
Hierarchy theoremsTimeUniversal machinePadding
What was said on the recording (1)
- בקידוד של כל המכונה בדיוק כי אני אצטריך לכפול בו
  Eqk3K9frjx8 @ 01:53:19
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceRememberL3·38
What the exam expects from the hierarchy proof
לא תידרשו לשחזר את כל הוכחת משפט ההיררכיה במבחן — זה גם לא ניצול נכון של הזמן. כן תידרשו להכיר את ההוכחה מספיק טוב כדי להגיב לשינויים: "אם אשנה את הדבר הזה, איך ההוכחה תשתנה?"
ExamHierarchy theorems
What was said on the recording (1)
- להמציא משהו כזה מחדש לא תצטרכו אבל להגיב לשינויים כן
  Eqk3K9frjx8 @ 01:55:59
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL3·39
Applying a hierarchy theorem to coarse classes: sandwich two refined ones
משפט ההיררכיה מוגדר רק על מחלקות עדינות. כדי להסיק הכלה ממש בין שתי מחלקות גסות, מכניסים באמצע שתי מחלקות עדינות ומפעילים את המשפט עליהן: גסה $\subseteq$ עדינה $\subsetneq$ עדינה $\subseteq$ גסה.
זהו "המבנה שתמיד יהיה כזה" לפי המרצה — התבנית הקבועה לכל שימוש במשפט היררכיה על P / EXP / PSPACE.
Hierarchy theoremsComplexity classesProof technique
What was said on the recording (1)
- אני אביא שתי מחלקות עדינות באמצע
  Eqk3K9frjx8 @ 02:00:22
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL3·40
n^c = O(2^n) for every c, hence P ⊆ DTIME(2^n)
לכל $c$ מתקיים $n^{c}=O(2^{n})$ , ולכן $\mathrm{DTIME}(n^{c})\subseteq \mathrm{DTIME}(2^{n})$ . מכיוון שזה נכון לכל $c$ , גם האיחוד מוכל: $\mathrm{P}\subseteq \mathrm{DTIME}(2^{n})$ .
$\mathrm{P}\subseteq \mathrm{DTIME}(2^{n})$
כאן דווקא לא צריך את מלוא הכוח של $o$ קטן — $O$ גדול מספיק, כי כאן רק ההכלה נדרשת.
Complexity classesPAsymptotics
What was said on the recording (1)
- עכשיו זה נכון לכל C אז מה זה אומר
  Eqk3K9frjx8 @ 02:05:50
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL3·41
Strict containment does not play well with unions
הכלה רגילה נשמרת תחת איחוד; הכלה ממש לא. דוגמה נגדית: $A=\{1\}$ , $B=\{1,2\}$ , $C=\{1,2\}$ — מתקיים $A\subsetneq B$ , אבל $A\cup B = C$ ואינו מוכל ממש ב- $C$ .
זו הסיבה שאי אפשר להפעיל משפט היררכיה ישירות על מחלקות גסות: הן מוגדרות כאיחוד.
Proof techniqueComplexity classes
What was said on the recording (1)
- החלה עובדת מצוין עם איחוד
  Eqk3K9frjx8 @ 02:06:58
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL3·42
P ⊊ EXP
$\mathrm{P}\subsetneq \mathrm{EXP}$ , דרך השרשרת $\mathrm{P}\subseteq \mathrm{DTIME}(2^{n}) \subsetneq \mathrm{DTIME}(2^{4n}) \subseteq \mathrm{DTIME}(2^{n^{2}}) \subseteq \mathrm{EXP}$ .
$\mathrm{P}\subseteq \mathrm{DTIME}(2^{n})\subsetneq \mathrm{DTIME}(2^{4n})\subseteq \mathrm{DTIME}(2^{n^{2}})\subseteq \mathrm{EXP}$
ההכלה הממש באמצע מגיעה ממשפט היררכיית הזמן עם $g(n)=n$ , $f(n)=2^{n}$ — $f$ אלמנטרית ולכן ישימה בזמן, סופר-ליניארית, ו- $g=o(f)$ ; המשפט נותן $\mathrm{DTIME}(2^{n})\subsetneq\mathrm{DTIME}(f^{2})=\mathrm{DTIME}(2^{4n})$ . הצעד האחרון בולע את הקבוע 4 בהגדלת החזקה.
Complexity classesPHierarchy theoremsTime
What was said on the recording (1)
- שמוחלת ממש בD 2 בn בריבוע
  Eqk3K9frjx8 @ 02:09:58
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL3·43
One of P ⊆ PSPACE ⊆ EXP is strict — nobody knows which
מ- $\mathrm{P}\subseteq\mathrm{PSPACE}\subseteq\mathrm{EXP}$ ומ- $\mathrm{P}\subsetneq\mathrm{EXP}$ נובע שלפחות אחת משתי ההכלות היא ממש. איזו — בעיה פתוחה. לא ידוע אם $\mathrm{P}=\mathrm{PSPACE}$ ולא ידוע אם $\mathrm{PSPACE}=\mathrm{EXP}$ .
המרצה מדגיש: "לא ידוע" פירושו שאף אחד לא יודע, לא שאנחנו בקורס לא יודעים. זו הדגמה לכך ששאלה פשוטה מאוד יכולה להיות פתוחה — ולא, מחשבים קוונטיים אינם רלוונטיים לכאן.
Complexity classesPPSPACEHierarchy theorems
What was said on the recording (1)
- אחת משתי האחלות היא אכלה ממש
  Eqk3K9frjx8 @ 02:14:54
The lecture number was inferred from recording dates, not stated in the title.
Lecture 4
RuleL4·1
Everything so far has been definitions
עד לנקודה זו בקורס לא נעשה הרבה מעבר להגדרות. התחושה שנעשה הרבה נובעת מכך שכל הגדרה גוררת המון פרמטרים, וההוכחות מתארכות ומסתרבלות — לא מכך שהתוכן עמוק.
FoundationsProof technique
What was said on the recording (1)
- כל הגדרה מביאה איתה המון המון פרמטרים
  ANf62oYXWnM @ 00:01:07
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·2
Nondeterministic Turing machine
כמו מכונת טיורינג רגילה, אלא ש- $\delta$ היא פונקציה אל קבוצת החזקה: $\delta: Q\times\Gamma \to \mathcal{P}(Q\times\Gamma\times\{L,R\})$ . כלומר לכל $q$ ו- $\alpha$ , $\delta(q,\alpha)$ היא קבוצה של שלשות ולא שלשה יחידה.
$\delta: Q\times\Gamma \to \mathcal{P}\big(Q\times\Gamma\times\{L,R\}\big)$
זה כל ההבדל התחבירי. הסמנטיקה עדיין לא הוגדרה בשלב הזה — המרצה מקפיד להפריד בין השניים.
NondeterminismTuring machines
What was said on the recording (1)
- דלטא הוא פונקציה לקבוצת החזקה
  ANf62oYXWnM @ 00:04:57
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·3
What deterministic computation means
חישוב הוא דטרמיניסטי אם תוצאת הריצה על קלט תלויה בקלט בלבד — כלומר, מתמטית, תוצאת הריצה היא פונקציה של הקלט.
אומרים "תוצאת ריצה" ולא "פלט", כי ייתכן שאין פלט — המכונה עשויה לא לעצור.
NondeterminismFoundationsTuring machines
What was said on the recording (1)
- תוצאת ריצה של אלגוריתם או מכונה על כל תלויה
  ANf62oYXWnM @ 00:08:49
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL4·4
"Not deterministic" is not "nondeterministic"
לא דטרמיניסטי (not deterministic) הוא כל מודל שבו התוצאה אינה תלויה רק בקלט — למשל אלגוריתם אקראי, שתוצאתו תלויה גם בהטלות המטבע. אי-דטרמיניסטי (non-deterministic) הוא המודל הספציפי שבו לכל צעד יש מספר אפשרויות למעבר הבא.
אלגוריתם אקראי הוא לא-דטרמיניסטי אך אינו אי-דטרמיניסטי. ההבחנה הזו חוזרת בהמשך הקורס כשלומדים BPP.
NondeterminismRandomizationnotation
What was said on the recording (1)
- אידטרמיניסטי זה ספציפית המודל שאנחנו לומדים עכשיו
  ANf62oYXWnM @ 00:10:26
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·5
Possible run
בהינתן מכונה אי-דטרמיניסטית $M$ וקלט $x$ , ריצה אפשרית של $M$ על $x$ היא סדרת שלשות מתוך $Q_M\times\Gamma_M\times\{L,R\}$ , כך שכל שלשה שייכת לקבוצה ש- $\delta$ מחזירה על הקונפיגורציה הקודמת.
חלק מהריצות האפשריות עוצרות וחלק לא. בעוד שבמודל הדטרמיניסטי דיברנו על הריצה של $M$ על $x$ , כאן מדברים על אוסף הריצות האפשריות — וזה ההבדל הסמנטי המהותי.
NondeterminismConfigurations
What was said on the recording (1)
- ריצה אפשרית של m על x היא סדרה
  ANf62oYXWnM @ 00:18:27
The lecture number was inferred from recording dates, not stated in the title.
NotationL4·6
In the nondeterministic model, only deciders
בחישוב אי-דטרמיניסטי נעסוק אך ורק במכונות הכרעה. מכונות חישוב אי-דטרמיניסטיות קיימות אך לא נלמדות בקורס.
NondeterminismTuring machines
What was said on the recording (1)
- נעסוק רק במכונות
  ANf62oYXWnM @ 00:24:53
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·7
Nondeterministic decision: the three conditions
$M$ מכריעה את $A$ באופן אי-דטרמיניסטי אם: (1) לכל $x$ , בכל ריצה אפשרית של $M$ על $x$ המכונה עוצרת; (2) אם $x\in A$ אז קיימת ריצה אפשרית המסתיימת במצב מקבל; (3) אם $x\notin A$ אז בכל ריצה אפשרית $M$ דוחה.
$x\in A \iff \exists \text{ a run of } M \text{ on } x \text{ ending in an accepting state}$
שימו לב לאסימטריה של הכמתים: לכל / קיימת / לכל. אפשר לנסח את (2)+(3) כשקילות אחת: $x\in A \iff$ קיימת ריצה מקבלת — אבל בהוכחה תמיד מפצלים לשני כיוונים. תמיד לומר במפורש "באופן אי-דטרמיניסטי", כדי לזכור שיש כאן משהו נוסף לטפל בו.
NondeterminismQuantifiersComplexity classes
What was said on the recording (1)
- כי M מכריעה את A באופן e דטרמיניסטי
  ANf62oYXWnM @ 00:27:02
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL4·8
How to show a machine decides no language at all
די להראות שקיים קלט $x$ שעליו קיימת ריצה אפשרית שאינה עוצרת — אז תנאי (1) נכשל, ולכן המכונה אינה מכריעה שום שפה.
כשמנסחים: להציג את $x$ לפני שמדברים על ריצה עליו. סדר ההצגה הוא חלק מהדיוק.
NondeterminismHaltingProof techniqueQuantifiers
What was said on the recording (1)
- קיים כלט שעליו קיימת ריצה שלא עוצרת
  ANf62oYXWnM @ 00:34:46
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL4·9
Nondeterminism adds no computational power, only efficiency
המודל האי-דטרמיניסטי שקול חישובית למודל הדטרמיניסטי: כל מה שאפשר לחשב באחד אפשר בשני. הוא כן עשוי לשנות מהותית את היעילות — בדיוק כמו המודל הרב-סרטי.
האינטואיציה: אפשר תיאורטית לעבור על כל הריצות האפשריות. הטענה אינה מוכחת בקורס.
NondeterminismModel robustnessMulti-tape machines
What was said on the recording (1)
- המודל הזה לא מגדיל לי את הכוח החישובי
  ANf62oYXWnM @ 00:56:22
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·10
Time and space of an NTM: maxima over runs
$\mathrm{TIME}_M(x)$ הוא מספר ההפעלות של $\delta$ בריצה אפשרית ארוכה ביותר; $\mathrm{SPACE}_M(x)$ הוא מספר התאים השונים שנכתבו בריצה אפשרית שכותבת בהכי הרבה תאים. בשני המקרים — מקסימום על פני כל הריצות.
לכן אם על $x$ יש ריצה שאינה עוצרת, $\mathrm{TIME}_M(x)=\infty$ — גם אם ריצות אחרות כן עוצרות. אומרים "ריצה אפשרית ארוכה ביותר" ולא "הריצה הארוכה ביותר", כי ייתכנו כמה.
NondeterminismTimeSpace
What was said on the recording (1)
- בריצה אפשרית ארוכה ביותר
  ANf62oYXWnM @ 00:58:30
The lecture number was inferred from recording dates, not stated in the title.
RuleL4·11
Why the maximum: computer science works worst-case
התפיסה במדעי המחשב היא התייחסות ל-worst case; מקרה ממוצע הוא החריג שמצוין במפורש. ומעבר לזה — עם הגדרה לא מתווכחים: אפשר לשאול למה הוגדר כך כשלומדים, אבל כשעובדים פשוט עובדים לפי ההגדרה.
NondeterminismFoundationsProof technique
What was said on the recording (1)
- אנחנו תמיד מסתכלים על ורס
  ANf62oYXWnM @ 01:00:34
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL4·12
The time-space bound, nondeterministic version
לכל מכונה אי-דטרמיניסטית $M$ קיים $c>0$ כך שלכל $x$ : אם בכל ריצה אפשרית של $M$ על $x$ המכונה עוצרת, אז $\mathrm{TIME}_M(x)\le 2^{c\cdot \mathrm{SPACE}_M(x)}$ .
$\forall M\;\exists c>0\;\forall x:\; (\text{every run halts}) \Rightarrow \mathrm{TIME}_M(x)\le 2^{c\cdot \mathrm{SPACE}_M(x)}$
שלושת ההבדלים מהניסוח הדטרמיניסטי: (1) התנאי הוא "בכל ריצה אפשרית" ולא " $M$ עוצרת"; (2) $\mathrm{TIME}$ מסתיר מקסימום; (3) $\mathrm{SPACE}$ מסתיר מקסימום.
NondeterminismTime vs spaceConfigurations
What was said on the recording (1)
- אם בכל ריצה
  ANf62oYXWnM @ 01:02:40
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL4·13
How to bound a maximum from above
כדי להראות $\max \le B$ : לוקחים איבר כלשהו ("תהי ריצה אפשרית"), מוכיחים עבורו $\le B$ כאשר $B$ אינו תלוי בבחירה, ואז מסיקים על המקסימום.
המרצה מסכם: "ההבדל הוא במעטפת, המהות נשארת אותה מהות". חישוב הקונפיגורציות עצמו זהה לחלוטין למקרה הדטרמיניסטי; מה שמשתנה הוא מה שלפניו ואחריו — לתת סימנים $t,s$ למדדים של הריצה הספציפית, ולסיים בלקיחת מקסימום.
Proof techniqueNondeterminism
What was said on the recording (1)
- איך אני מראה שהמקסימום קטן שווה ממשהו
  ANf62oYXWnM @ 01:05:27
The lecture number was inferred from recording dates, not stated in the title.
ClaimL4·14
Every earlier claim carries over verbatim
$\mathrm{SPACE}\le\mathrm{TIME}$ , המעבר ממכונה רב-סרטית לחד-סרטית, והמכונה האוניברסלית ומדדיה — כל אלה תקפים גם למכונות אי-דטרמיניסטיות, עם אותן הוכחות. משתנה רק ה"מעטפת": תהי ריצה, סמן, הוכח, קח מקסימום.
NondeterminismMulti-tape machinesUniversal machineTime vs space
What was said on the recording (1)
- כל הטענות האלה עוברות כמו שהן למכונות
  ANf62oYXWnM @ 01:14:35
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·15
NTIME(f) and NSPACE(f)
$\mathrm{NTIME}(f)$ היא מחלקת השפות $A$ שעבורן קיימת מכונה אי-דטרמיניסטית $M$ וקבוע $c>0$ , כך ש- $M$ מכריעה את $A$ באופן אי-דטרמיניסטי ולכל $x$ מתקיים $\mathrm{TIME}_M(x)\le c\cdot f(|x|)$ . $\mathrm{NSPACE}(f)$ מוגדרת באותו אופן עם $\mathrm{SPACE}$ .
$\mathrm{NTIME}(f)=\{A : \exists M \text{ nondet.},\ \exists c>0,\ M \text{ decides } A \text{ nondet.},\ \forall x\ \mathrm{TIME}_M(x)\le c f(|x|)\}$
שלוש נקודות השוני מ- $\mathrm{DTIME}$ : המכונה אי-דטרמיניסטית, ההכרעה היא באופן אי-דטרמיניסטי, ו- $\mathrm{TIME}$ מחביא מקסימום על פני ריצות.
NondeterminismComplexity classesTimeSpace
What was said on the recording (1)
- לכל השפות עבורן קיימת מכונה e דטרמיניסטית
  ANf62oYXWnM @ 01:16:53
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL4·16
The time max and the space max need not be on the same run
$\mathrm{TIME}$ ו- $\mathrm{SPACE}$ הם שני מקסימומים נפרדים. ייתכן שריצה אחת רצה זמן רב וכותבת בפחות תאים, ואחרת להפך. אסור להניח שאותה ריצה משיגה את שניהם.
בהוכחות מטפלים בזה כך: חוסמים את הקשר בין המדדים עבור ריצה אחת ספציפית, אחר כך חוסמים את המדד הספציפי במקסימום, ורק בסוף לוקחים מקסימום גם באגף השני.
NondeterminismTimeSpaceProof technique
What was said on the recording (1)
- זה לא חייבת להיות אותה ריצה שמסיגה את המקסימום בשניהם
  ANf62oYXWnM @ 01:22:01
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL4·17
Every deterministic machine is a nondeterministic machine
מכונה דטרמיניסטית היא מקרה פרטי של מכונה אי-דטרמיניסטית שבה כל הקבוצות הן יחידונים. לכן $\mathrm{DTIME}(f)\subseteq\mathrm{NTIME}(f)$ ו- $\mathrm{DSPACE}(f)\subseteq\mathrm{NSPACE}(f)$ — אותה מכונה, אותו תקציב.
$\mathrm{DTIME}(f)\subseteq\mathrm{NTIME}(f),\qquad \mathrm{DSPACE}(f)\subseteq\mathrm{NSPACE}(f)$
כשיש רק ריצה אפשרית אחת, ה"לכל" וה"קיים" בהגדרת ההכרעה האי-דטרמיניסטית מתלכדים.
NondeterminismComplexity classes
What was said on the recording (1)
- כל מכונה דטרמיניסטית היא מכונה
  ANf62oYXWnM @ 01:24:26
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL4·18
The coarse nondeterministic classes
$\mathrm{NP}=\bigcup_c \mathrm{NTIME}(n^{c})$ , $\mathrm{NEXP}=\bigcup_c\mathrm{NTIME}(2^{n^{c}})$ , $\mathrm{NPSPACE}=\bigcup_c\mathrm{NSPACE}(n^{c})$ , ו- $\mathrm{NEXPSPACE}$ .
העובדה של- $\mathrm{NPSPACE}$ אין קיצור מקובל מסגירה שלא נשתמש בה הרבה.
NondeterminismComplexity classesNP
What was said on the recording (1)
- אז היה לנו את P עכשיו יש לנו את NP
  ANf62oYXWnM @ 01:26:07
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL4·19
P ⊆ NP, and the famous open question
$\mathrm{P}\subseteq\mathrm{NP}$ — מסקנה ישירה מכך שכל מכונה דטרמיניסטית היא אי-דטרמיניסטית. האם $\mathrm{P}=\mathrm{NP}$ אינו ידוע — אולי השאלה הפתוחה המפורסמת ביותר במדעי המחשב.
$\mathrm{P}\subseteq\mathrm{NP}$
NondeterminismPNPComplexity classes
What was said on the recording (1)
- p מוחלת בnp
  ANf62oYXWnM @ 01:28:25
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceL4·20
Abbreviations correlate with mistakes
כתיבה בקיצורים וראשי תיבות אינה שגיאה מתמטית ולא יורדות עליה נקודות, אבל מניסיון בדיקה של אלפי תרגילים יש קשר סטטיסטי מובהק בין שימוש בקיצורים לבין טעויות. ההמלצה: לכתוב במלואו.
ExamnotationProof technique
What was said on the recording (1)
- בין כתיבה בכל מיני קיצורים וראשי תיבות לבין טעויות
  ANf62oYXWnM @ 01:30:08
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL4·21
The standard skeleton for a containment between coarse classes
התבנית: (1) לפרק את המחלקה הגסה לאיחוד ההגדרתי שלה; (2) להפעיל את הקשר בין זמן למקום על כל מחלקה עדינה; (3) לחסום את ה- $O$ שנוצר על ידי הגדלת החזקה ב-1; (4) לזהות את התוצאה כהגדרה של מחלקת היעד.
לדוגמה: $\mathrm{PSPACE}=\bigcup_c\mathrm{DSPACE}(n^{c}) \subseteq \bigcup_c\mathrm{DTIME}(2^{O(n^{c})}) \subseteq \bigcup_c\mathrm{DTIME}(2^{n^{c+1}}) \subseteq \mathrm{EXP}$ .
Complexity classesProof techniqueTime vs space
What was said on the recording (1)
- זה המבנה הבסיסי שמשתמשים בו כדי להוכיח משהו על מחלקה כללית
  BPaQYss9Qi0 @ 00:06:29
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL4·22
Inside a complexity class the halting hypothesis is free
החסם $\mathrm{TIME}\le 2^{O(\mathrm{SPACE})}$ דורש שהמכונה תעצור. כשעובדים בתוך $\mathrm{DSPACE}(f)$ אין צורך להניח זאת: מראש כל המכונות שם מכריעות, ולכן עוצרות על כל קלט.
HaltingComplexity classesTime vs space
What was said on the recording (1)
- מכונה שמכריעה בעיה או מכריעה שפה אחת מהדרישות זה שהיא גם עוצרת
  BPaQYss9Qi0 @ 00:07:01
The lecture number was inferred from recording dates, not stated in the title.
ExampleRememberL4·23
Worked exercise: DSPACE(n³) ⊊ EXP
$\mathrm{DSPACE}(n^{3}) \subseteq \mathrm{DTIME}(2^{n^{4}}) \subsetneq \mathrm{DTIME}(2^{4n^{4}}) \subseteq \mathrm{DTIME}(2^{n^{5}}) \subseteq \mathrm{EXP}$ .
$\mathrm{DSPACE}(n^{3}) \subseteq \mathrm{DTIME}(2^{n^{4}}) \subsetneq \mathrm{DTIME}(2^{4n^{4}}) \subseteq \mathrm{DTIME}(2^{n^{5}}) \subseteq \mathrm{EXP}$
השלב הראשון מהקשר זמן-מקום ( $2^{cn^{3}}=O(2^{n^{4}})$ ); השלב השני ממשפט היררכיית הזמן עם $g=2^{n^{4}}$ , $f=2^{2n^{4}}$ (ואז $f^{2}=2^{4n^{4}}$ ); השלב השלישי כדי להיפטר מהמקדם 4 שבחזקה, כי ההגדרה של EXP אינה מרשה אותו.
Hierarchy theoremsComplexity classesTime vs spaceProof technique
What was said on the recording (1)
- מוכל ממש d2 שהם 2 בn5 שזה מוכן לפי ההדרה בx
  BPaQYss9Qi0 @ 00:18:07
- ה-ASR משבש קשות את הביטויים; השרשרת שוחזרה מהדיון בקול.
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueL4·24
Same claim, two proof routes: the order of steps is a choice
אפשר גם: $\mathrm{DSPACE}(n^{3})\subsetneq\mathrm{DSPACE}(n^{4})\subseteq\mathrm{PSPACE}\subseteq\mathrm{EXP}$ — כלומר להפעיל קודם את משפט היררכיית המקום ורק אז לעבור לזמן.
המסלול השני קצר יותר כי הוא נשען על $\mathrm{PSPACE}\subseteq\mathrm{EXP}$ שכבר הוכחה. הלקח: מתי עוברים בין זמן למקום ומתי מפעילים את משפט ההיררכיה — זו בחירה, ושתי הבחירות תקפות.
Hierarchy theoremsProof techniqueComplexity classes
What was said on the recording (1)
- אז בעצם א שתי הוכחות נכונות
  BPaQYss9Qi0 @ 00:20:41
The lecture number was inferred from recording dates, not stated in the title.
CorollaryRememberL4·25
DSPACE(n^c) ⊊ EXP for each constant c — yet PSPACE vs EXP is open
ההוכחה לעיל שרירותית ב- $3$ , ולכן לכל $c$ קבוע מתקיים $\mathrm{DSPACE}(n^{c})\subsetneq\mathrm{EXP}$ . ובכל זאת לא ידוע אם $\mathrm{PSPACE}\subsetneq\mathrm{EXP}$ — כלומר לא ידוע אם קיימת שפה אחת שאפשר להכריע בזמן אקספוננציאלי ואי אפשר באף מקום פולינומי.
זו ההדגמה הנקייה ביותר לכך שהכלה ממש אינה נשמרת תחת איחוד: כל אחת מהמחלקות באיחוד מוכלת ממש, ועל האיחוד עצמו אין לנו כלום.
Complexity classesPSPACEHierarchy theoremsQuantifiers
What was said on the recording (1)
- אבל לא יודעים האם PPAS מוחלת בקספ
  BPaQYss9Qi0 @ 00:22:44
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL4·26
Why the nondeterministic model exists
יש הרבה מאוד בעיות חשובות שלא יודעים לפתור בזמן פולינומי — אבל ברגע שמאפשרים חישוב אי-דטרמיניסטי, כן. המודל האי-דטרמיניסטי הוא תיאורטי לחלוטין; הערך שלו הוא בכך שהוא מאפשר לאפיין בדיוק את הבעיות האלה, ומכאן צומחת שאלת $\mathrm{P}$ מול $\mathrm{NP}$ .
NondeterminismNPPFoundations
What was said on the recording (1)
- ברגע שאני מאפשר בעצם למודל להיות אידטרמיניסטי
  BPaQYss9Qi0 @ 00:24:50
The lecture number was inferred from recording dates, not stated in the title.
DefinitionL4·27
Run scenario: the sequence of choices
סדרת הבחירות שהמכונה האי-דטרמיניסטית עושה במהלך ריצה נקראת תסריט ריצה, וכל תסריט ריצה מתאר ריצה אפשרית אחת של המכונה.
בכל צעד, אם המכונה במצב $q$ קוראת $\alpha$ , היא בוחרת שלשה אחת מתוך הקבוצה $\delta(q,\alpha)$ ופועלת לפיה. איך הבחירה מתבצעת — לא מוגדר ולא מעניין.
NondeterminismConfigurations
What was said on the recording (1)
- וכל תסרית ריצה בעצם מתאר ריצה אפשרית של המכונה
  BPaQYss9Qi0 @ 00:31:07
- ASR משבש את המילה "תסריט" לאורך הקטע.
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL4·28
The space maximum is not taken on the longest run
$\mathrm{SPACE}_M(x)$ הוא מספר התאים בריצה שכותבת בהכי הרבה תאים — ולא מספר התאים בריצה הארוכה ביותר. ייתכנו ריצות קצרות שכותבות הרבה וריצות ארוכות שכותבות מעט.
NondeterminismSpaceTime
What was said on the recording (1)
- זה לא מספר התאים השונים בריצה הארוכה ביותר
  BPaQYss9Qi0 @ 00:53:53
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL4·29
The proof pattern in the nondeterministic model
כדי להוכיח אי-שוויון בין שני מקסימומים: לוקחים ריצה אפשרית כלשהי, נותנים שמות ( $t$ , $s$ ) למדדים של אותה ריצה, מוכיחים את הקשר עבורה, חוסמים את $t$ ב- $\mathrm{TIME}$ (מקסימום), ומכיוון שזה נכון לכל ריצה — בפרט לריצה הבזבזנית ביותר — נובע גם על $\mathrm{SPACE}$ .
"כל הסיבוך" של המודל האי-דטרמיניסטי הוא הצורך להפוך כל טענה לטענת "לכל ריצה". המהות — ההבחנה שבכל צעד נכתב לכל היותר תא חדש אחד — זהה לחלוטין.
NondeterminismProof techniqueTime vs space
What was said on the recording (1)
- אז נסתכל על תהי נגיד ריצה א כלשהיא של m על x
  BPaQYss9Qi0 @ 00:59:14
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL4·30
The nondeterministic hypothesis is "halts on every possible run"
בחסם $\mathrm{TIME}_M(x)\le 2^{c\cdot \mathrm{SPACE}_M(x)}$ לא מספיק להניח " $M$ עוצרת על $x$ " — חייבים " $M$ עוצרת על $x$ בכל ריצה אפשרית".
NondeterminismHaltingTime vs spaceQuantifiers
What was said on the recording (1)
- צריך לדעת שהיא יוצרת על x בכל ריצה
  BPaQYss9Qi0 @ 01:05:35
The lecture number was inferred from recording dates, not stated in the title.
TheoremL4·31
Every class relation carries over to the nondeterministic model
$\mathrm{NTIME}(f)\subseteq\mathrm{NSPACE}(f)$ ; $\mathrm{NSPACE}(f)\subseteq\mathrm{NTIME}(2^{O(f)})$ ; ואם $g=O(f)$ אז $\mathrm{NTIME}(g)\subseteq\mathrm{NTIME}(f)$ ו- $\mathrm{NSPACE}(g)\subseteq\mathrm{NSPACE}(f)$ . גם משפטי ההיררכיה עוברים.
NondeterminismComplexity classesTime vs spaceHierarchy theorems
What was said on the recording (1)
- גם משפטי ההיררכיה עוברים הכל עובר גם למודל
  BPaQYss9Qi0 @ 01:13:21
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL4·32
P versus NP: the million-dollar question
השאלה הבסיסית של תורת מדעי המחשב: האם $\mathrm{P}=\mathrm{NP}$ ? ההכלה $\mathrm{P}\subseteq\mathrm{NP}$ ידועה, ולכן השאלה היא למעשה האם $\mathrm{NP}\subseteq\mathrm{P}$ . יש עליה פרס של מיליון דולר.
$\mathrm{P}\subseteq\mathrm{NP};\quad \mathrm{P}\stackrel{?}{=}\mathrm{NP}$
מצב הידע: לא מצאו אף שפה ב- $\mathrm{NP}$ שיודעים להוכיח שאינה ב- $\mathrm{P}$ , וגם לא הצליחו להוכיח שאין כזו.
PNPNondeterminismComplexity classes
What was said on the recording (1)
- האם p שווה לnp
  BPaQYss9Qi0 @ 01:21:54
The lecture number was inferred from recording dates, not stated in the title.
Lecture 5
NotationRememberL5·1
The class E, and why it is not EXP
$\mathrm{E}=\bigcup_{c}\mathrm{DTIME}(2^{cn})$ — שימו לב ש- $n$ בלי חזקה. זו אינה $\mathrm{EXP}=\bigcup_c\mathrm{DTIME}(2^{n^{c}})$ ; $\mathrm{E}$ מוכלת ב- $\mathrm{EXP}$ אך אינה שווה לה. באותו אופן $\hat{\mathrm{E}}=\bigcup_c\mathrm{DTIME}(2^{cn^{2}})$ .
$\mathrm{E}=\bigcup_{c\ge1}\mathrm{DTIME}(2^{cn}),\qquad \hat{\mathrm{E}}=\bigcup_{c\ge1}\mathrm{DTIME}(2^{cn^{2}})$
Complexity classesnotationTime
What was said on the recording (1)
- תשימו לב זה לא x הn הוא בלי חזקות בכלל
  gdL_8vpDloU @ 00:06:01
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·2
The idea of padding: same steps, longer input
אם מספר הצעדים נשאר כשהוא, וגודל הקלט גדל — הסיבוכיות יורדת, כי משלמים את אותו מחיר על קלט גדול יותר. ריפוד מנצל בדיוק את זה: מנפחים את הקלט כדי להוריד את סיבוכיות הריצה יחסית אליו.
PaddingAsymptoticsComplexity classes
What was said on the recording (1)
- מספר הצעדים הוא אותו מספר צעדים או מספר צעדים דומה עד כדי קבוע סיבוכיות הריצה ירדה
  gdL_8vpDloU @ 00:15:10
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL5·3
The padded language
$B = \{x\#^{\ell} : x\in A\}$ כאשר $\#$ הוא תו חדש שאינו בא"ב של $A$ , ו- $\ell$ הוא גודל הריפוד הנבחר (למשל $|x|^{2}$ ).
$B=\{x\#^{\ell(|x|)} : x\in A\},\quad \#\notin \Sigma_A$
התו החדש הכרחי: הוא מה שמאפשר להפריד את $x$ מהריפוד בלי אי-בהירות, ולכן גם ש- $M_A$ תורץ רק על $x$ .
PaddingEncodings
What was said on the recording (1)
- כאשר סולמית תו חדש שאינו באב של a
  gdL_8vpDloU @ 00:16:46
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·4
The three stages of the padding machine
$M_B$ על קלט $y$ : (1) בודקת שהצורה היא $x\#^{\ell}$ עם $x$ מעל א"ב המקורי — אחרת דוחה; (2) מחשבת את גודל הריפוד ובודקת ש- $\ell$ שווה לו בדיוק — אחרת דוחה; (3) מריצה את $M_A$ על $x$ ומחזירה את תשובתה.
המבנה הזה חוזר בכל הוכחת ריפוד ללא שינוי. השלב היחיד שמשתנה הוא הביטוי שמחשבים בשלב 2.
PaddingProof technique
What was said on the recording (1)
- נבדוק שy מהצורה x ואחריו סולמית
  gdL_8vpDloU @ 00:18:26
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·5
The pad function's constructibility must always be stated
כדי לחשב את גודל הריפוד בשלב 2 צריך שהפונקציה תהיה ישימה בזמן (ובמקום, לפי הצורך). בלי זה אין שום חסם על עלות החישוב. "תמיד תהיה חשובה בריפוד, אז תמיד צריך להגיד את זה".
PaddingHierarchy theoremsProof technique
What was said on the recording (1)
- הישימות בזמן של פונקציית הריפוד חשובה פה מאוד
  gdL_8vpDloU @ 00:29:25
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·6
The space to compute something can exceed the output length
אסור להסיק את המקום מגודל הפלט. מכונה יכולה להשתמש בטיוטה גדולה בהרבה מהפלט ואז למחוק אותה — מכונת הכרעה מוציאה ביט אחד ובכל זאת המקום שלה אינו קבוע. ישימות במקום היא בדיוק ההבטחה שהחישוב אינו עולה הרבה יותר מגודל הפלט.
SpacePaddingProof technique
What was said on the recording (1)
- מכונת טיורינג יכולה לעשות שימוש לטיותה בכל מיני דברים
  gdL_8vpDloU @ 00:43:50
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·7
The fixed skeleton of a padding proof: four machines
כדי להוכיח "אם הכלה אחת אז הכלה אחרת": (1) $A$ במחלקה שרוצים; מקבלים את $M_A$ ; (2) בונים שפה מרופדת $B$ ומכונה $M_B$ שמשתמשת ב- $M_A$ כקופסה שחורה; (3) מפעילים את ההכלה הנתונה ומקבלים ש- $B$ במחלקה השנייה, ומשם מקבלים את $M_B'$ ; (4) בונים $M_A'$ שמרפדת ומעבירה ל- $M_B'$ , ומסיקים על $A$ .
ארבע מכונות: שתיים מקבלים, שתיים בונים. "כל השער נראה אותו דבר תמיד" — הדבר היחיד שמשתנה משאלה לשאלה הוא כמה לרפד.
PaddingProof techniqueComplexity classes
What was said on the recording (1)
- המקום היחיד שבו אני צריך טיפה מחשבה זה כמה לרפד
  gdL_8vpDloU @ 00:53:01
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL5·8
E ≠ PSPACE
$\mathrm{E}\ne\mathrm{PSPACE}$ — טענה שכן ניתן להוכיח, על ידי שילוב הטענה המותנית (מריפוד) עם משפט היררכיית הזמן.
$\mathrm{E}\ne\mathrm{PSPACE}$
ההוכחה: נניח $\mathrm{E}\subseteq\mathrm{PSPACE}$ ; מהריפוד נובע $\hat{\mathrm{E}}\subseteq\mathrm{PSPACE}$ . מנגד, $\mathrm{E}\subseteq\mathrm{DTIME}(2^{n^{2}})\subsetneq\mathrm{DTIME}(2^{4n^{2}})\subseteq\hat{\mathrm{E}}$ (היררכיית הזמן עם $g=2^{n^{2}}$ , $f=2^{2n^{2}}$ ), ולכן $\mathrm{E}\subsetneq\hat{\mathrm{E}}\subseteq\mathrm{PSPACE}$ — כלומר $\mathrm{PSPACE}\not\subseteq\mathrm{E}$ . הלקח: גם מטענה מותנית אפשר להשיג תוצאה מוחלטת.
PaddingHierarchy theoremsComplexity classesPSPACE
What was said on the recording (1)
- לא שווה לpספיס
  gdL_8vpDloU @ 00:57:37
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·9
A claim about classes is about languages, not machines
בכל ההכלות הסטנדרטיות שהוכחנו המכונה נשארה אותה מכונה — ריפוד הוא הפעם הראשונה שבה בונים ומקבלים מכונות שונות. אסור להניח שזו אותה מכונה: הטענה " $X = Y$ " אומרת שאם קיימת מכונה כזו אז קיימת מכונה כזו, לא שאותה מכונה עושה את שתיהן.
PaddingComplexity classesProof technique
What was said on the recording (1)
- אני טוען טענה על שפות לא על מכונות
  gdL_8vpDloU @ 00:59:15
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·10
How to prove a disjunction
כדי להוכיח " $P$ או $Q$ " מניחים ש- $P$ אינו מתקיים ומוכיחים את $Q$ — ולא מפצלים למקרים (פיצול למקרים הוא מה שעושים כשטענת "או" נתונה), ולא מניחים בשלילה.
Proof technique
What was said on the recording (1)
- להניח שהחלק הראשון לא מתקיים להוכיח את השני
  gdL_8vpDloU @ 01:00:17
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·11
A chain with one strict link makes the endpoints strict
אם יש שרשרת הכלות שבה אחת מהן היא הכלה ממש, אז ההכלה בין הקצוות היא הכלה ממש.
Proof techniqueComplexity classes
What was said on the recording (1)
- אם יש לי שרשרת החלות שאחת מהן היא אכלה ממש
  gdL_8vpDloU @ 01:05:46
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·12
Remove the negations by contraposition, not by contradiction
"אם $\mathrm{EXP}\ne\mathrm{NEXP}$ אז $\mathrm{P}\ne\mathrm{NP}$ " מנוסח מחדש בקונטרפוזיטיב: "אם $\mathrm{P}=\mathrm{NP}$ אז $\mathrm{EXP}=\mathrm{NEXP}$ ". ומכיוון ש- $\mathrm{P}\subseteq\mathrm{NP}$ ו- $\mathrm{EXP}\subseteq\mathrm{NEXP}$ כבר ידועות, התוכן האמיתי הוא "אם $\mathrm{NP}\subseteq\mathrm{P}$ אז $\mathrm{NEXP}\subseteq\mathrm{EXP}$ " — וזו טענה בצורת "אם הכלה אז הכלה", כלומר מועמדת לריפוד.
$\mathrm{NP}\subseteq\mathrm{P} \;\Rightarrow\; \mathrm{NEXP}\subseteq\mathrm{EXP}$
זיהוי הצורה הזו הוא חצי מהעבודה: כל טענה מהצורה "אם הכלה אז הכלה" היא קלאסית לריפוד.
PaddingProof techniquePNPComplexity classes
What was said on the recording (1)
- אם p שווה לnp אז
  gdL_8vpDloU @ 01:08:32
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·13
How much to pad: work backwards from the target
השאלה "כמה לרפד" נענית כך: זמן הריצה של $M_A$ הוא אקספוננציאלי ב- $|x|$ , ואני רוצה שיהיה פולינומי ב- $|y|$ — לכן $|y|$ חייב להיות אקספוננציאלי ב- $|x|$ , ומרפדים ב- $d\cdot 2^{|x|^{c}}$ סולמיות.
מותר (ונוח) לקחת את כל הביטוי כולל הקבוע $d$ כגודל הריפוד. הטריק: לנסות, ואם משהו חורג — להקטין או להגדיל את הריפוד בהתאם. לא לפחד לשחק עם זה.
PaddingProof techniqueNPP
What was said on the recording (1)
- אני אהיה חייב לרפד במשהו אקספוננציאלי כדי להוריד את זה לפולינומי
  gdL_8vpDloU @ 01:14:30
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·14
When padding nondeterministic classes, the nondeterminism lives only in the last stage
בבניית $M_B$ מעל מכונה אי-דטרמיניסטית, שלבי בדיקת הצורה וגודל הריפוד הם דטרמיניסטיים לחלוטין — האי-דטרמיניזם נמצא אך ורק בהרצת $M_A$ . ומכאן שגם $M_B$ היא אי-דטרמיניסטית.
כשמדברים על $M_B$ חייבים לעבור לטרמינולוגיה של אי-דטרמיניזם: "קיימת ריצה של $M_B$ על $y$ המסתיימת במצב מקבל", ולא " $M_B$ מקבלת". אין כאן שינוי מהותי — רק דיוק במונחים.
PaddingNondeterminismProof technique
What was said on the recording (1)
- שלב אחד ושתיים הם דטרמיניסטים האי דטרמיניזם הוא בתוך ההרצה
  gdL_8vpDloU @ 01:21:23
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL5·15
Padding proves containment; strict containment is split in two
ריפוד הוא כלי להוכחת הכלה. אם רוצים הכלה ממש — מפרקים לשתי הוכחות נפרדות: הכלה (אולי בריפוד) ואי-הכלה בכיוון השני (בדרך כלל ממשפט היררכיה). לא מערבבים.
PaddingHierarchy theoremsProof technique
What was said on the recording (1)
- ריפוד עוזר לי להוכיח החלה
  gdL_8vpDloU @ 01:38:48
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL5·16
Literal, clause, CNF formula
ליטרל הוא משתנה או שלילת משתנה. פסוקית (הסגר, CNF clause) היא טְפֶל של ליטרלים עם "או" ביניהם. נוסחת CNF היא טְפֶל של פסוקיות עם "וגם" ביניהן.
CNF = Conjunctive Normal Form. "טְפֶל" (tuple) ולא "סדרה", כי סדרה היא אינסופית. מספר הליטרלים בפסוקית אינו חייב להיות 3 — אל תמציאו לעצמכם כללים ממה שחוזר על עצמו בדוגמאות.
SATNPnotation
What was said on the recording (1)
- הוא סדרה אוניה טפל
  gdL_8vpDloU @ 01:44:11
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL5·17
Assignment, and what it satisfies
הסמה היא פונקציה $v$ מקבוצת המשתנים ל- $\{T,F\}$ , שמורחבת לכל נוסחה לפי הכללים הלוגיים. נוסחה $\varphi$ נקראת ספיקה אם קיימת הסמה שנותנת לה $T$ .
$\varphi \text{ satisfiable} \iff \exists v:\; v(\varphi)=T$
ספיקוּת אינה תלויה בהסמה אחת — היא טענת קיום. דוגמה לנוסחה שאינה ספיקה: $x_1 \wedge \neg x_1$ .
SATNPCertificates and verifiers
What was said on the recording (1)
- כאשר קיימת הסמה v שנותנת לה ערך טרו
  gdL_8vpDloU @ 01:49:23
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL5·18
The language SAT
$\mathrm{SAT} = \{\langle\varphi\rangle : \varphi$ נוסחת CNF ספיקה $\}$ , כאשר מניחים שכל מחרוזת בינארית מקודדת איזושהי נוסחת CNF (כמו שעשינו עם מכונות טיורינג).
$\mathrm{SAT}=\{\langle\varphi\rangle : \varphi \text{ formula CNF satisfiable}\}$
SATNPEncodings
What was said on the recording (1)
- אני מגדיר את סת בתור כל הקידודים של נוסחאות CNF
  gdL_8vpDloU @ 01:55:08
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·19
Never write "x₁ = true"
למשתנים אין ערכים — הם משתנים. כדי לתת להם ערך צריך אובייקט חיצוני: הסמה. תמיד אומרים "ההסמה $v$ נותנת $T$ ל- $x_1$ ", לעולם לא " $x_1 = T$ ".
זו שוב ההבחנה בין תחביר לסמנטיקה שהודגשה בחישוביות. "הרבה מאוד טעויות נובעות מזה שאני מתייחס למשתנים כאילו יש להם ערכים."
SATnotationProof technique
What was said on the recording (1)
- אל תגידו x1 שווה טרו אף פעם
  gdL_8vpDloU @ 01:56:48
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL5·20
SAT ∈ NP: the machine
בונים מכונה אי-דטרמיניסטית דו-סרטית: (1) סופרים את מספר המשתנים $n$ ב- $\varphi$ (האינדקס הגדול ביותר); (2) כותבים באופן אי-דטרמיניסטי $n$ ביטים על הסרט השני; (3) מתייחסים אליהם כהסמה ובודקים אם היא מספקת את $\varphi$ .
$\mathrm{SAT}\in\mathrm{NP}$
אם $\varphi$ ספיקה — קיימת ריצה שבה נכתבת הסמה מספקת, ולכן קיימת ריצה מקבלת. נוח לבנות עם שני סרטים ולהתחשבן על המעבר למכונה סטנדרטית בסוף — אבל לא לשכוח שהמחלקות מוגדרות על מכונה חד-סרטית.
SATNPNondeterminismCertificates and verifiersMulti-tape machines
What was said on the recording (1)
- נכתוב ביטים באופן אדטרמיניסטי על הסרט השני
  gdL_8vpDloU @ 01:58:57
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·21
Nondeterministic is not random
"לכתוב ביטים באופן אי-דטרמיניסטי" פירושו ש- $\delta$ מאפשרת גם 0 וגם 1 — אין כאן שום אקראיות ושום הסתברות. השאלה שנשאלת אינה "מה הסיכוי שתבחר נכון" אלא "האם קיימת אפשרות לבחור נכון".
המרצה מסמן את זה כשאלה טובה וחשובה במיוחד. הסתברות היא מודל אחר לגמרי, שיילמד בהמשך.
NondeterminismRandomizationNPSAT
What was said on the recording (1)
- זה לא באקראי לא לבלבל אי דטרמיניסטי עם אקראי
  gdL_8vpDloU @ 02:03:54
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·22
Binary encoding makes "try every divisor" exponential
האלגוריתם הנאיבי לבדיקת פריקות עובר על כל המספרים עד $x$ — כלומר $\approx x$ פעולות. אבל $x$ מתקבל בקידוד בינארי, ולכן $|x|=\log x$ , וזמן הריצה ביחס לאורך הקלט הוא $2^{\Theta(|x|)}$ — אקספוננציאלי.
כדי לכתוב את המספר מיליון די ב- $\approx 20$ ביטים, אך האלגוריתם עושה מיליון פעולות. תמיד לשאול: מהו אורך הקלט? (יש אלגוריתם פולינומי לראשוניות, מלפני כ-20 שנה, אבל הוא מורכב מאוד.)
EncodingsAsymptoticsTimeP
What was said on the recording (1)
- אני תמיד מודד זמן הריצה ביחס לאורך הכלת חשוב להבין מה אורך הכלת
  zcCQY3oT40Y @ 00:07:29
The lecture number was inferred from recording dates, not stated in the title.
ExampleRememberL5·23
A nondeterministic machine for COMPOSITE
המכונה: (1) כותבת באופן אי-דטרמיניסטי מספר $a$ באורך $\le|x|$ ; (2) אותו דבר עבור $b$ ; (3) בודקת ש- $1<a<x$ ו- $1<b<x$ — אחרת דוחה; (4) מחשבת $a\cdot b$ ; (5) מקבלת אם $a\cdot b=x$ . זמן: $O(|x|^{2})$ ברב-סרטית, $O(|x|^{3})$ בסטנדרטית, ולכן $A\in\mathrm{NP}$ .
במקום לעבור על כל המחלקים, בוחרים אחד. אם $x$ פריק — קיימת ריצה שבוחרת נכון ומקבלת; אם ראשוני — כל ריצה דוחה. זה בדיוק הכוח שהאי-דטרמיניזם נותן.
NondeterminismNPCertificates and verifiersEncodings
What was said on the recording (1)
- כתוב א באופן אדטרמיניסטי א על הסרט השני
  zcCQY3oT40Y @ 00:15:52
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueL5·24
What "write nondeterministically" looks like at the δ level
במצב $q_1$ כשקוראים $0$ או $1$ על סרט הקלט, $\delta$ מציעה שלוש אפשרויות: לכתוב $0$ על הסרט השני ולהזיז את שני הראשים ימינה; לכתוב $1$ ולהזיז ימינה; או לעבור למצב הבא (סיימתי לכתוב). כשמגיעים ל-blank בסרט הקלט עוברים בעל כורחנו לשלב הבא — וכך מובטח אורך $\le|x|$ .
אף אחד לא כותב מכונות ברמת פירוט כזו — כותבים "נכתוב באופן אי-דטרמיניסטי מחרוזת באורך…" או "ננחש". אבל כדאי לעשות את זה פעם אחת כדי להבין שזה באמת עונה על ההגדרה.
NondeterminismTuring machinesNP
What was said on the recording (1)
- יש למכונה
  zcCQY3oT40Y @ 00:21:06
- ה-ASR משבש את תיאור פונקציית המעברים; השחזור מבוסס על התיאור המילולי המלא.
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueL5·25
When you know the space, the single-tape conversion beats squaring
המעבר ממכונה רב-סרטית לחד-סרטית עולה $\mathrm{TIME}\cdot\mathrm{SPACE}$ , ולא $\mathrm{TIME}^{2}$ . חסמנו ב- $\mathrm{TIME}^{2}$ רק כשאין מידע על המקום. במכונה של COMPOSITE המקום הוא $O(|x|)$ והזמן $O(|x|^{2})$ , ולכן מקבלים $O(|x|^{3})$ במקום $O(|x|^{4})$ .
Multi-tape machinesTime vs spaceNondeterminism
What was said on the recording (1)
- זה היה הזמן כפול המקום
  zcCQY3oT40Y @ 00:33:26
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL5·26
The equivalent characterization of NP: verifier and witness
$A\in\mathrm{NP}$ אם קיימת מכונה דטרמיניסטית $M$ בעלת זמן ריצה פולינומי, וקיים פולינום $p$ , כך שלכל $x$ : $x\in A \iff$ קיימת מחרוזת $w\in\{0,1\}^{p(|x|)}$ שעבורה $M$ מקבלת את $\langle x,w\rangle$ .
$x\in A \iff \exists w\in\{0,1\}^{p(|x|)}:\; M \text{ accepts } \langle x,w\rangle$
$w$ נקראת עדות (witness/certificate) ו- $M$ נקראת מוודא (verifier). שימו לב: $M$ אינה מכריעה את $A$ — היא לא מקבלת רק את $x$ אלא זוג, והיא לא מחפשת את העדות אלא רק בודקת אותה. אפשר היה להגדיר כך את NP מלכתחילה, בלי מודל אי-דטרמיניסטי כלל.
NPCertificates and verifiersNondeterminismComplexity classes
What was said on the recording (1)
- מכונה דטרמיניסטית
  zcCQY3oT40Y @ 00:39:40
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·27
Claim and proof: what a verifier really does
אפשר לחשוב על $x$ כעל טענה ועל $w$ כעל הוכחה לטענה. המוודא אינו מנסה להוכיח בעצמו — הוא מקבל טענה והוכחה ורק בודק שההוכחה נכונה. הדרישה היא: טענות נכונות (ורק הן) יש להן הוכחה שתשכנע את המוודא.
NPCertificates and verifiersFoundations
What was said on the recording (1)
- המוודא הזה הוא לא מכונה שמכריעה
  zcCQY3oT40Y @ 00:42:22
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·28
The link to the RE characterization theorem from computability
זהו בדיוק משפט האפיון שהיה בחישוביות, בתוספת שני חסמי יעילות: (1) אורך העדות חייב להיות פולינומי — לא מרשים הוכחות ארוכות מדי, כי אפילו לקרוא אותן ייקח זמן אקספוננציאלי; (2) המוודא עצמו חייב לרוץ בזמן פולינומי.
NPCertificates and verifiersFoundations
What was said on the recording (1)
- זה בעצם בדיוק אותו משפט אפיון שהיה לנו עם
  zcCQY3oT40Y @ 00:44:26
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·29
The philosophical meaning of P versus NP
דרך המוודא, השאלה $\mathrm{P}\stackrel{?}{=}\mathrm{NP}$ הופכת לשאלה: האם קשה יותר להוכיח מאשר לבדוק הוכחה? האם כל דבר שאני יודע לבדוק עבורו הוכחות, אני גם יודע לפתור בעצמי? האינטואיציה מהיום-יום (קל יותר לבדוק מבחן מאשר לפתור אותו) אומרת ש- $\mathrm{P}\ne\mathrm{NP}$ — אבל זה לא ידוע.
PNPCertificates and verifiersFoundations
What was said on the recording (1)
- האם יותר קשה להוכיח מאשר לבדוק הוכחות
  zcCQY3oT40Y @ 00:46:01
The lecture number was inferred from recording dates, not stated in the title.
LemmaRememberL5·30
Normalization: you may assume at most two options per transition
לכל מכונה אי-דטרמיניסטית $M$ קיימת מכונה אי-דטרמיניסטית $\hat M$ שבה לכל מעבר יש לכל היותר שתי אפשרויות, כך שקיימת ריצה מקבלת של $M$ על $x$ אם ורק אם קיימת ריצה מקבלת של $\hat M$ על $x$ , ו- $\mathrm{TIME}_{\hat M}(x)=O(\mathrm{TIME}_M(x))$ .
$\mathrm{TIME}_{\hat M}(x) = O\big(\mathrm{TIME}_M(x)\big)$
הבנייה: מפצלים בחירה מבין $k$ אפשרויות לשרשרת של $k$ בחירות בינאריות — "או את האפשרות הנוכחית, או לעבור למצב שאומר: בחר מבין הנותרות". המחיר לכל צעד חסום ב- $|Q_M|\cdot|\Gamma_M|\cdot 2$ — מספר השלשות האפשריות — שאינו תלוי בקלט.
NondeterminismNPModel robustness
What was said on the recording (1)
- יש לכל היותר שתי אפשרויות
  zcCQY3oT40Y @ 00:55:29
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL5·31
Verifier ⇒ nondeterministic machine
בהינתן מוודא $M$ ופולינום $p$ , בונים מכונה אי-דטרמיניסטית $N$ : על קלט $x$ היא כותבת באופן אי-דטרמיניסטי מחרוזת $w$ באורך $p(|x|)$ אחרי הקלט, ואז מריצה את $M$ על $\langle x,w\rangle$ ומחזירה את תשובתה.
מכונה אי-דטרמיניסטית תמיד יכולה להריץ מכונה דטרמיניסטית (כל מעבר עם אפשרות אחת). זמן הריצה: $O(p(|x|))$ לשלב הראשון (ישימות בזמן של $p$ ) $+$ $t(|x|+p(|x|))$ לשלב השני — והרכבה של פולינומים היא פולינום.
NPCertificates and verifiersNondeterminism
What was said on the recording (1)
- בשלב הראשון היא תכתוב באופן E דטרמיניסטי איזושהיא מחרוזת
  zcCQY3oT40Y @ 01:22:00
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·32
Polynomials compose, which is why P and NP are convenient
חיבור, כפל והרכבה של פולינומים נותנים פולינום. לכן אלגוריתם פולינומי שמריץ אלגוריתם פולינומי הוא עדיין פולינומי. זה לא נכון לזמן ליניארי: אלגוריתם ליניארי שמריץ אלגוריתם ליניארי הוא כבר ריבועי.
זו אחת הסיבות המרכזיות לכך שמסתכלים דווקא על $\mathrm{P}$ ו- $\mathrm{NP}$ — הן סגורות תחת הרכבת אלגוריתמים, ולכן אפשר לבנות רדוקציות ומכונות שמריצות מכונות בלי לצאת מהמחלקה.
PNPComplexity classesAsymptotics
What was said on the recording (1)
- הרכבה של פולינומים זה פולינום
  zcCQY3oT40Y @ 01:29:21
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL5·33
NTM ⇒ verifier: the witness is the sequence of choices
בהינתן מכונה אי-דטרמיניסטית $N$ (מנורמלת לשתי אפשרויות לכל מעבר), בונים מוודא דטרמיניסטי $M$ שהעדות שלו היא סדרת הבחירות שיש לבצע כדי להגיע למצב מקבל: $M$ מעתיקה את $w$ לסרט השני ומסמלצת את $N$ על $x$ , כאשר בכל צעד הביט הנוכחי ב- $w$ קובע איזו משתי האפשרויות לבצע.
הרעיון: להוציא את האי-דטרמיניזם אל מחוץ למכונה. ברגע שסדרת הבחירות נתונה מראש, אין יותר בחירה — הכל דטרמיניסטי. אורך העדות חסום ב- $p(|x|)$ כי זהו חסם על אורך הריצה הארוכה ביותר.
NPCertificates and verifiersNondeterminism
What was said on the recording (1)
- סדרת הבחירות שצריך לבצע במכונה n כדי להגיע למצב מקבל
  zcCQY3oT40Y @ 01:40:26
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL5·34
A deterministic machine can only simulate an NTM once the choices are given
מכונה אי-דטרמיניסטית יכולה תמיד להריץ מכונה דטרמיניסטית. הכיוון ההפוך אינו אפשרי ישירות — מכונה דטרמיניסטית אינה יכולה להריץ מכונה אי-דטרמיניסטית. הפתרון: הבחירות מגיעות מבחוץ, כתובות על הסרט השני, ואז אין באמת בחירה.
NondeterminismNPCertificates and verifiers
What was said on the recording (1)
- מכונה דטרמיסטסית לא יכולה להריץ מכונה אי דטרמיניסטית
  zcCQY3oT40Y @ 01:45:08
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL5·35
Unary versus binary: same algorithm, completely different complexity
אם $x$ מתקבל בקידוד אונרי אז $|x|$ שווה למספר עצמו, ואותו אלגוריתם נאיבי בדיוק הופך מאקספוננציאלי לפולינומי (אפילו $O(|x|^{2})$ ) — בלי לשנות שום דבר באלגוריתם.
זה לא ניצול של מקום מול זמן, אלא הדגמה לכך שהיעילות נמדדת ביחס לאורך הקלט. וזו בדיוק המוטיבציה לריפוד: להאריך את הקלט באופן מלאכותי כדי לקבל אלגוריתם "יעיל יותר".
EncodingsPaddingAsymptoticsTime
What was said on the recording (1)
- אם x עכשיו מתקבל בקידוד ונרי
  zcCQY3oT40Y @ 02:10:37
The lecture number was inferred from recording dates, not stated in the title.
Lecture 6
RuleL6·1
Complexity proves many conditional results
מכיוון שלא יודעים להוכיח את הטענות הגדולות ישירות, מוכיחים טענות מהצורה "אם $X$ מתקיים אז $Y$ מתקיים". למשל: אם אצליח להראות $\mathrm{EXP}\ne\mathrm{NEXP}$ — זה יגרור $\mathrm{P}\ne\mathrm{NP}$ .
Complexity classesPNPPadding
What was said on the recording (1)
- מוכיחים טענות סוג של יחסיות
  0_fFIUnWa4g @ 00:02:45
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL6·2
The naive cost of determinizing an NTM
כדי לסמלץ מכונה אי-דטרמיניסטית באופן דטרמיניסטי סורקים את עץ החישוב — כל צעד מתפצל לשתי אפשרויות — ומחפשים מסלול מהקונפיגורציה ההתחלתית לעלה מקבל. העלות: $2^{O(\mathrm{TIME}_M(x))}$ . זה הדבר הטוב ביותר שיודעים לעשות.
$\mathrm{NTIME}(f)\subseteq\mathrm{DTIME}\big(2^{O(f)}\big)$
כלומר: $\mathrm{NTIME}(f)\subseteq \mathrm{DTIME}(2^{O(f)})$ , וזו הסיבה ש- $\mathrm{NP}\subseteq\mathrm{EXP}$ אבל לא יודעים יותר מזה.
NondeterminismTimeComplexity classes
What was said on the recording (1)
- אני משלם על זה זמן ריצה שהוא שתיים בחזקת זמן הריצה של המכונה המקורית
  0_fFIUnWa4g @ 00:11:06
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL6·3
Exponential padding turns exponential time into linear
עבור $A\in\mathrm{NTIME}(2^{n^{c}})$ מגדירים $B=\{x\#^{2^{|x|^{c}}} : x\in A\}$ . אותה מכונה בדיוק (עם בדיקת תקינות) מכריעה את $B$ בזמן $O(|y|)$ — ליניארי — ולכן $B\in\mathrm{NTIME}(n)\subseteq\mathrm{NP}$ .
שלושת השלבים: בדיקה ש- $y$ מהצורה $x\#^{k}$ ; בדיקה ש- $k=2^{|x|^{c}}$ (ישימות בזמן); הרצת $N_A$ על $x$ . כל שלב עולה $O(|y|)$ , כי $|y|$ עצמו כבר אקספוננציאלי ב- $|x|$ .
PaddingNPNondeterminismEncodings
What was said on the recording (1)
- 2 בחזקת X
  0_fFIUnWa4g @ 00:12:44
- הביטוי המדויק משובש ב-ASR; שוחזר מהחישוב שנעשה בקול.
The lecture number was inferred from recording dates, not stated in the title.
RuleL6·4
"This feels like cheating" — and why it isn't
התחושה שריפוד הוא רמאות היא טבעית, אבל אין בו שום דבר לא חוקי. מה שהוא באמת אומר: אם הצלחנו להוכיח $\mathrm{P}=\mathrm{NP}$ , אז ההוכחה אינה נשארת בעולם הפולינומי — אפשר לתרגם אותה גם לעולם האקספוננציאלי.
PaddingComplexity classesFoundations
What was said on the recording (1)
- אני מסכים שזה מרגיש קצת
  0_fFIUnWa4g @ 00:28:11
The lecture number was inferred from recording dates, not stated in the title.
RuleL6·5
A non-computable function is not time-constructible
ישימות בזמן דורשת בפרט חשיבוּת: בונה החרוץ, שהוכח בחישוביות שאינו חשיב, אינו ישים בזמן — אין מכונה שמחשבת אותו כלל. כל פונקציה אלמנטרית לא-פתולוגית (שורש, לוג, ריבוע, חזקה, $2^n$ ) כן ישימה, וניתן לחשב אותה בזמן מסדר גודל הפונקציה עצמה.
Hierarchy theoremsPaddingFoundations
What was said on the recording (1)
- פונקציה שהיא לא חשיבה היא גם לא ישימה בזמן
  0_fFIUnWa4g @ 00:33:57
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL6·6
The full diagram of the P=NP ⇒ EXP=NEXP proof
$A\in\mathrm{NEXP}$ $\xrightarrow{\text{padding}}$ $B\in\mathrm{NP}$ $\xrightarrow{\text{assumption}}$ $B\in\mathrm{P}$ $\xrightarrow{\text{build } M_A}$ $A\in\mathrm{EXP}$ .
$\mathrm{P}=\mathrm{NP}\;\Rightarrow\;\mathrm{EXP}=\mathrm{NEXP}$
בשלב האחרון $M_A$ על $x$ כותבת $2^{|x|^{c}}$ סולמיות (עלות אקספוננציאלית — וזה בסדר, כי היעד הוא EXP) ומריצה את $M_B$ . החישוב: $|y| = O(2^{|x|^{c}})$ , ולכן $|y|^{d} = O(2^{d|x|^{c}}) = O(2^{|x|^{c+1}})$ .
PaddingPNPComplexity classesProof technique
What was said on the recording (1)
- התחלנו היה לנו איזשהיא A שהיא בn אקספ
  0_fFIUnWa4g @ 00:41:28
The lecture number was inferred from recording dates, not stated in the title.
DefinitionL6·7
E and E²
$\mathrm{E}=\mathrm{DTIME}(2^{O(n)})=\bigcup_c \mathrm{DTIME}(2^{cn})$ ו- $\mathrm{E}^{2}=\mathrm{DTIME}(2^{O(n^{2})})=\bigcup_c\mathrm{DTIME}(2^{cn^{2}})$ — לא $\mathrm{EXP}$ : אקספוננציאלי עם קבוע כפול $n$ , לא עם $n$ בחזקה.
$\mathrm{E}=\bigcup_{c}\mathrm{DTIME}(2^{cn}),\qquad \mathrm{E}^{2}=\bigcup_{c}\mathrm{DTIME}(2^{cn^{2}})$
התרגיל שמלווה: הוכיחו שאם $\mathrm{E}\subseteq\mathrm{PSPACE}$ אז גם $\mathrm{E}^{2}\subseteq\mathrm{PSPACE}$ — שוב "אם הכלה אז הכלה", כלומר ריפוד.
Complexity classesPaddingnotationPSPACE
What was said on the recording (1)
- זה לא המחלקה X אין לי אין לי פה חזקה
  0_fFIUnWa4g @ 00:44:49
The lecture number was inferred from recording dates, not stated in the title.
Exam guidanceRememberL6·8
Not "draws", not "guesses" — "chooses nondeterministically"
המילים "מגרילה", "דוגמת", "אקראי", "רנדומי" אסורות בהקשר אי-דטרמיניסטי. גם "מנחשת" — אף שהיא מקובלת — עדיף להימנע ממנה: היא אינה שגיאה, אבל היא מקרבת אתכם לטעות, כי מיד אחרי "מנחשת" מגיע "מגרילה".
NondeterminismnotationExamRandomization
What was said on the recording (1)
- הוא עצמו לא טעות אבל הוא מקרב אתכם לטעות
  U3Sy9Qr1Me0 @ 00:00:34
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueL6·9
A bit string of length #variables is an assignment
כל מחרוזת בינארית שאורכה כמספר המשתנים אפשר לפרש כהסמה: הביט ה- $i$ הוא הערך שההסמה נותנת ל- $x_i$ . כך המכונה "קוראת" את מה שכתבה על הסרט השני.
אין סתירה עם כך ש- $v$ מקבלת משתנה יחיד ומחזירה $T/F$ — המחרוזת היא התיאור של הפונקציה, לא הפונקציה עצמה.
SATNPCertificates and verifiersEncodings
What was said on the recording (1)
- כל ביט מתאר לי מה הסמה נותנת עבור משתנה ספציפי
  U3Sy9Qr1Me0 @ 00:07:06
The lecture number was inferred from recording dates, not stated in the title.
ClaimL6·10
Complexity analysis of the SAT decider
ספירת המשתנים — ליניארי; כתיבת ההסמה — ליניארי; בדיקה אם ההסמה מספקת — ריבועי (לכל מופע של משתנה בנוסחה צריך לסרוק את כל ההסמה). המקום ליניארי. לכן במעבר לחד-סרטית: $\mathrm{TIME}\cdot\mathrm{SPACE}=O(|\varphi|^{3})$ .
$\mathrm{TIME}_{\hat M}(\langle\varphi\rangle) = O\big(|\langle\varphi\rangle|^{3}\big)$
זהו התרגיל שממחיש למה כדאי לחשב גם את המקום גם כשמעניין רק הזמן: בלי חסם המקום היינו מקבלים $O(|\varphi|^{4})$ .
SATNPMulti-tape machinesTime vs space
What was said on the recording (1)
- בדיקה האם העסמה מספקת היא כבר דורשת זמן ריבועי
  U3Sy9Qr1Me0 @ 00:09:43
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL6·11
A verifier is not a decider, even syntactically
מכונה שמכריעה את SAT מקבלת רק נוסחה. המוודא מקבל נוסחה ועוד הסמה, ולכן — גם ברמה התחבירית בלבד — הוא אינו יכול להכריע את השפה. הוא מוודא שייכות, לא מוכיח אותה.
האנלוגיה: ההבדל בין לפתור מבחן לבין לבדוק אותו; בין לכתוב הוכחה לבין לוודא שהוכחה נתונה נכונה.
NPCertificates and verifiersSAT
What was said on the recording (1)
- היא נקראת מכונה שמבוודת
  U3Sy9Qr1Me0 @ 00:16:37
- ASR: "שמבוודת" = "שמוודאת".
The lecture number was inferred from recording dates, not stated in the title.
ExampleL6·12
The conversation intuition: "convince me 8 is composite"
אני טוען ש-8 פריק; אתם אומרים "תשכנע". פירוק לגורמים הוא פעולה קשה, אבל אני מוסר לכם $2$ ו- $4$ — וכפל הוא פעולה קלה. כך אני מוכיח והם רק מוודאים. זהו בדיוק היחס בין המוודא לעדות.
NPCertificates and verifiers
What was said on the recording (1)
- אתם יכולים לכפול אותם ולקבל את שמונה
  U3Sy9Qr1Me0 @ 00:23:14
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL6·13
The proof uses the verifier's "iff" in both directions
בכיוון "מוודא $\Rightarrow$ מכונה אי-דטרמיניסטית", כדי לטפל במקרה $x\notin A$ משתמשים בכיוון ההפוך של השקילות בהגדרת המוודא: אם קיימת ריצה מקבלת של $\hat M$ אז ה- $w$ שנכתב גורם ל- $M$ לקבל, ולכן $x\in A$ .
לכן חשוב שההגדרה של המוודא מנוסחת כ"אם ורק אם" ולא כגרירה חד-כיוונית.
NPCertificates and verifiersProof techniqueQuantifiers
What was said on the recording (1)
- אני משתמש פה בדיוק בזה שזה אם ורק אם
  U3Sy9Qr1Me0 @ 00:32:48
The lecture number was inferred from recording dates, not stated in the title.
PitfallL6·14
A verifier does not return the same answer for every witness
המוודא אינו מחזיר את אותה תשובה לכל $w$ — על עדויות שונות הוא עשוי להחזיר תשובות שונות. השאלה היחידה שנשאלת היא האם קיים $w$ טוב.
NPCertificates and verifiersQuantifiers
What was said on the recording (1)
- אבל על כל W אני אחזיר תשובה אחרת
  U3Sy9Qr1Me0 @ 00:34:19
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL6·15
The maze analogy: the witness is the list of turns
מכונה אי-דטרמיניסטית היא כמו פותר מבוך שבכל צומת מחליט לאן לפנות, והמבוך פתיר אם ורק אם קיימת דרך לצאת. כדי לוודא זאת אינני צריך מפה — די ברשימת הפניות: בצומת הראשון שמאלה, בשני ימינה, וכן הלאה. זו כמות המידע המינימלית הנדרשת, וזו העדות.
מפה נותנת יותר מדי מידע. הרשימה נותנת בדיוק את מה שצריך, ואורכה חסום במספר הצעדים — שהוא פולינומי.
NPCertificates and verifiersNondeterminism
What was said on the recording (1)
- אני רק חייב שמישהו יגיד לי בכל נקודה לאן אני פונה
  U3Sy9Qr1Me0 @ 00:41:16
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL6·16
Run scenario: a sequence of triples, one per step
כל ריצה של $M$ על $x$ ניתנת לתיאור על ידי סדרה סופית של שלשות $(q,\alpha,L/R)$ באורך מספר הצעדים — המצב הבא, התו לכתוב, וכיוון הזזת הראש. מחרוזת כזו נקראת תסריט ריצה.
המצב הנוכחי אינו חלק מהשלשה, כי הוא אינו חלק מהבחירה.
NondeterminismCertificates and verifiersConfigurations
What was said on the recording (1)
- ניתן לתאר כל ריצה של m על x
  U3Sy9Qr1Me0 @ 00:46:10
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL6·17
The bit length of a run scenario
כל שלשה נדרשת $\lceil\log|Q|\rceil + \lceil\log|\Gamma|\rceil + 1$ ביטים, ולכן אורך התסריט הוא $\big(\log|Q|+\log|\Gamma|+1\big)\cdot \mathrm{TIME}_M(x)$ — פולינומי ב- $|x|$ כשזמן הריצה פולינומי.
$|w| = \big(\log|Q| + \log|\Gamma| + 1\big)\cdot \mathrm{TIME}_M(x)$
אותו ביטוי בדיוק כמו המעריך בחסם $2^{(\log|Q|+\log|\Gamma|+1)\cdot s}$ מספירת הקונפיגורציות — וזה לא מקרי: שם העלינו לבסיס 2, וכאן סופרים ביטים.
Certificates and verifiersEncodingsConfigurationsNP
What was said on the recording (1)
- ועוד לוגמה ועוד 1 ביטים
  U3Sy9Qr1Me0 @ 00:47:15
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL6·18
The verifier walks the scenario triple by triple
$\hat M$ על $\langle x,w\rangle$ : עוברת על $w$ כרשימת שלשות ומוודאת שהיא מתארת ריצה חוקית ומקבלת של $M$ על $x$ — כלומר שכל שלשה שייכת ל- $\delta$ של הקונפיגורציה הקודמת, ושהריצה מסתיימת במצב מקבל.
אם $x\in A$ יש ריצה מקבלת ולכן יש תסריט שמתאר אותה; אם $x\notin A$ אף תסריט לא יתאר ריצה מקבלת, כי אין כזו. אורך התסריט פולינומי, ולכן גם זמן הווידוא.
NPCertificates and verifiersNondeterminism
What was said on the recording (1)
- ותוודה שW מתאר ריצה חוקית מקבלת
  U3Sy9Qr1Me0 @ 00:49:23
The lecture number was inferred from recording dates, not stated in the title.
Lecture 7
NotationL7·1
A polynomial-time verifier decides pairs, verifies a language
המוודא הוא מכונת הכרעה — אבל היא מכריעה קבוצה של זוגות, לא את השפה שמעניינת אותנו. "מוודא" הוא מושג תלוי-הקשר: היא מוודא עבור $A$ .
NPCertificates and verifiersnotation
What was said on the recording (1)
- היא מכריעה קבוצה של זוגות אבל היא לא מכריעה את השפה
  P2LsoRqJNXI @ 00:07:22
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·2
The Turing machine is polynomially equivalent to the RAM model
מודל מכונת טיורינג שקול פולינומית למודל ה-RAM (Random Access Machine), כלומר לפסאודו-קוד. לכן, כל עוד הרזולוציה שמעניינת אותנו היא "פולינומי או לא", מותר לעבוד בפסאודו-קוד ולא לבנות מכונות.
בחישוביות עניינה אותנו שקילות סמנטית; כאן מוסיפים גם שקילות עד כדי פולינום. הפולינום עצמו עשוי לגדול — וזה לא מעניין, כי המסננת שלנו גסה מאוד. זהו הרישיון המרכזי לכל שאר הקורס.
Model robustnessPProof techniqueTuring machines
What was said on the recording (1)
- שקול פולינומית למודל של מכונת רם
  P2LsoRqJNXI @ 00:08:32
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL7·3
Clique and the language CLIQUE
בהינתן גרף $G=(V,E)$ (פשוט ולא מכוון, אלא אם נאמר אחרת), קבוצה $U\subseteq V$ היא קליקה אם לכל $x\ne y$ ב- $U$ מתקיים $xy\in E$ . $\mathrm{CLIQUE}=\{\langle G,k\rangle : G$ גרף וקיימת ב- $G$ קליקה בגודל $k\}$ .
$\mathrm{CLIQUE}=\{\langle G,k\rangle : \exists U\subseteq V,\ |U|=k,\ \forall x\ne y\in U\ xy\in E\}$
Graph problemsNPNP-completeness
What was said on the recording (1)
- תיקרא קליקה כאשר לכל X ו-Y בו
  P2LsoRqJNXI @ 00:12:21
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·4
CLIQUE ∈ NP
האלגוריתם: על $\langle G,k\rangle$ — בוחרים באופן אי-דטרמיניסטי קבוצה $U\subseteq V$ בגודל $k$ ; ואז דטרמיניסטית, לכל $x\ne y$ ב- $U$ , אם $xy\notin E$ דוחים; בסוף מקבלים. זמן: $O(|V|)$ לבחירה $+$ $O(k^{2})=O(|V|^{2})$ ללולאה $=O(|\langle G,k\rangle|^{2})$ .
$\mathrm{CLIQUE}\in\mathrm{NP}$
Graph problemsNPNondeterminism
What was said on the recording (1)
- נבחר קבוצה U של קודקודים בגודל K
  P2LsoRqJNXI @ 00:16:00
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·5
k is a number: its encoding length is log k
לקודד את $k$ דורש רק $\log k$ ביטים, ולכן אילו הקלט היה $k$ בלבד, אלגוריתם שעובר על $k$ אפשרויות לא היה פולינומי. כאן זה בסדר כי הגרף נמצא לצידו ומשלם את המחיר; בנוסף אפשר להניח בלי הגבלת הכלליות ש- $0\le k\le|V|$ .
EncodingsGraph problemsNPAsymptotics
What was said on the recording (1)
- הK עצמו הוא גדול מאוד ביחס לגודל של הקידוד שלו
  P2LsoRqJNXI @ 00:28:49
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL7·6
Independent set and INDEPENDENT SET
$U\subseteq V$ היא בלתי תלויה אם לכל $x\ne y$ ב- $U$ מתקיים $xy\notin E$ . $\mathrm{IS}=\{\langle G,k\rangle :$ קיימת ב- $G$ קבוצה בלתי תלויה בגודל $k\}$ .
$\mathrm{IS}=\{\langle G,k\rangle : \exists U\subseteq V,\ |U|=k,\ \forall x\ne y\in U\ xy\notin E\}$
זה אינו בדיוק ההפך מקליקה: שלילה של "לכל" אינה "לכל". בשני המקרים הכמת הוא "לכל שני קודקודים שונים" — משתנה רק התנאי.
Graph problemsNPQuantifiers
What was said on the recording (1)
- תשימו לב זה לא בדיוק ההפך מקליק
  P2LsoRqJNXI @ 00:33:34
The lecture number was inferred from recording dates, not stated in the title.
RuleL7·7
A polynomial time analysis makes the halting argument redundant
אחרי שהוכחנו שזמן הריצה לכל ריצה אפשרית הוא פולינומי, אין צורך להוכיח בנפרד שהאלגוריתם עוצר בכל ריצה — זה נובע מיד.
NondeterminismHaltingProof technique
What was said on the recording (1)
- ברגע שזמן הריצה הוא פולינומי אני יכול לוותר
  P2LsoRqJNXI @ 00:46:55
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·8
The witness must be representable in polynomially many bits
בהוכחת שייכות ל-NP דרך מוודא חייבים לציין במפורש שהעדות ניתנת לייצוג במספר פולינומי של ביטים. דוגמה נגדית: טבלת אמת של נוסחה היא אקספוננציאלית בגודלה — מוודא שמקבל טבלת אמת אינו מוכיח ש-SAT ב-NP.
עבור IS: קבוצה $U$ מקודדת ב- $|V|$ ביטים (לכל קודקוד: בפנים או לא) — ליניארי בגודל המופע, ולכן חוקי.
NPCertificates and verifiersEncodingsSAT
What was said on the recording (1)
- טבלת אמת של נוסחה אין שום דרך שבה אני יכול לייצג אותה
  P2LsoRqJNXI @ 00:48:32
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL7·9
Polynomial-time reduction
$A\le_p B$ אם קיימת מכונת טיורינג דטרמיניסטית סטנדרטית $M$ הרצה בזמן פולינומי בגודל הקלט, כך שלכל $x$ : אם $x\in A$ אז $M(x)\in B$ , ואם $x\notin A$ אז $M(x)\notin B$ .
$A\le_p B \iff \exists M \text{ polynomial}:\ \forall x\ \big(x\in A \Rightarrow M(x)\in B\big)\wedge\big(x\notin A \Rightarrow M(x)\notin B\big)$
זו בדיוק ההגדרה מחישוביות בתוספת חסם הזמן. בחישוביות עניינה אותנו רק הסמנטיקה; בסיבוכיות מוסיפים עליה את היעילות. הסימון: $\le_p$ במקום $\le_m$ .
ReductionsPNP
What was said on the recording (1)
- רדוקציית זמן פולינומי מ
  P2LsoRqJNXI @ 00:52:58
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·10
Deleting all edges (or adding all) breaks one direction
רדוקציה חייבת לקיים שני הכיוונים. אם מוחקים את כל הקשתות מקבלים תמיד משהו שאינו קליקה, ואם מוסיפים את כולן מקבלים תמיד קליקה — בשני המקרים אחד הכיוונים נהרס, ללא תלות בקלט.
כמו בחישוביות: ברדוקציה מ-HALT ל- $\mathrm{HALT}_0$ לא ידענו אם הקלט בשפה, ובכל זאת היינו צריכים להעביר את התכונה. הקושי המהותי הוא להעביר את התכונה בלי לדעת אותה.
ReductionsGraph problemsProof technique
What was said on the recording (1)
- תמיד יפגום באחד הכיוונים האלה
  P2LsoRqJNXI @ 00:59:23
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·11
IS ≤p CLIQUE via the complement graph
הרדוקציה: $\langle G,k\rangle \mapsto \langle \overline{G},k\rangle$ , כאשר $\overline{G}$ הוא הגרף המשלים (איפה שהייתה קשת — אין, ואיפה שלא הייתה — יש). זמן: $O(|V|^{2})$ .
$\mathrm{IS}\le_p\mathrm{CLIQUE}\quad\text{via}\quad \langle G,k\rangle\mapsto\langle \overline{G},k\rangle$
הנימוק: $U$ בלתי תלויה ב- $G$ $\iff$ לכל $x\ne y$ ב- $U$ מתקיים $xy\notin E$ $\iff$ $xy\in \overline{E}$ $\iff$ $U$ קליקה ב- $\overline{G}$ . אותה רדוקציה עובדת גם בכיוון ההפוך.
ReductionsGraph problemsNP-completeness
What was said on the recording (1)
- אז נבנה את הגרף המשלים
  P2LsoRqJNXI @ 01:00:58
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·12
In a proof the set exists; in an algorithm you must find it
אל תבלבלו בין השניים: בהוכחת רדוקציה מותר לומר "קיימת $U$ " ולעבוד איתה — זו אינה עבודה אלגוריתמית ואיני צריך למצוא אותה. באלגוריתם (כמו המוודא) הקבוצה חייבת להתקבל או להיבחר.
ReductionsProof techniqueCertificates and verifiers
What was said on the recording (1)
- אני פה לא אלגוריתמית אני רק מוכיח
  P2LsoRqJNXI @ 01:03:35
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL7·13
Work with the proof skeleton — it's the railing that protects you
בהוכחת רדוקציה, בכל שלב לשאול: מה אני צריך להוכיח? לא לצלול לתוך ההגדרה של הנתון לפני שברור מה המטרה. הנחתי ש- $\langle G,k\rangle\in\mathrm{IS}$ — עכשיו המטרה היא להראות ש- $\langle\overline G,k\rangle\in\mathrm{CLIQUE}$ , ורק אז לפרוש מה זה אומר.
אזהרה נוספת: כשיש כמה גרפים בהוכחה, אסור לכתוב "קליקה" סתם — חייבים לומר "קליקה ב- $\overline G$ ", וכנ"ל " $xy\in\overline E$ " ולא " $xy\in E$ ".
ReductionsProof techniquenotation
What was said on the recording (1)
- תמיד לעבוד עם השלד של ההוכחה
  P2LsoRqJNXI @ 01:05:14
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·14
The reduction theorem: P, NP and PSPACE are closed under ≤p
לכל $A,B$ : אם $A\in\mathrm{P}$ ו- $B\le_p A$ אז $B\in\mathrm{P}$ . אותו דבר עבור $\mathrm{NP}$ ועבור $\mathrm{PSPACE}$ .
$B\le_p A \;\wedge\; A\in\mathcal{C} \;\Rightarrow\; B\in\mathcal{C}, \quad \mathcal{C}\in\{\mathrm{P},\mathrm{NP},\mathrm{PSPACE}\}$
המקבילה למשפט הרדוקציה מחישוביות ( $R$ , $RE$ , $coRE$ סגורות לרדוקציות). הרעיון המרכזי בהוכחה: הרכבה של פולינומים היא פולינום.
ReductionsPNPPSPACEComplexity classes
What was said on the recording (1)
- פ סגורה ביחס לרדוקציות זמן פולינומי
  P2LsoRqJNXI @ 01:16:56
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·15
Transitivity of ≤p
לכל $A,B,C$ : אם $A\le_p B$ ו- $B\le_p C$ אז $A\le_p C$ .
$A\le_p B \;\wedge\; B\le_p C \;\Rightarrow\; A\le_p C$
הרדוקציה המורכבת היא שרשור המכונות / הרכבת הפונקציות — בדיוק כמו בחישוביות. הניתוח הסמנטי זהה; ניתוח הזמן מגיע שוב מכך שהרכבת פולינומים היא פולינום.
ReductionsProof technique
What was said on the recording (1)
- היחס הזה הוא טרנזיטיבי
  P2LsoRqJNXI @ 01:18:37
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL7·16
NP-hard and NP-complete
$A$ נקראת NP-קשה אם לכל $B\in\mathrm{NP}$ מתקיים $B\le_p A$ . $A$ נקראת NP-שלמה אם היא NP-קשה וגם $A\in\mathrm{NP}$ .
$A \text{ NP-hard} \iff \forall B\in\mathrm{NP}:\ B\le_p A;\qquad A \text{ NP-complete} \iff A \text{ NP-hard} \wedge A\in\mathrm{NP}$
שימו לב לכיוון: הרדוקציה היא מכל בעיה ב-NP אל $A$ — לא להפך. זו בדיוק המקבילה ל- $RE$ -קושי ו- $RE$ -שלמות מחישוביות.
NP-completenessReductionsNP
What was said on the recording (1)
- לכל b בnp יש רדוקצית
  P2LsoRqJNXI @ 01:21:53
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL7·17
Hardness propagates forward along a reduction
אם $A$ היא NP-קשה ו- $A\le_p B$ , אז גם $B$ היא NP-קשה.
$A \text{ NP-hard} \;\wedge\; A\le_p B \;\Rightarrow\; B \text{ NP-hard}$
זהו הכלי המעשי: אחרי שיש בעיה אחת NP-קשה, כל מה שצריך כדי להוכיח קושי של בעיה חדשה הוא רדוקציה אליה — לא לחזור לכל $\mathrm{NP}$ .
NP-completenessReductions
What was said on the recording (1)
- אם A יהיה NP קשה וגם יש רדוקציה מ
  P2LsoRqJNXI @ 01:23:30
The lecture number was inferred from recording dates, not stated in the title.
NotationL7·18
Full assignment versus partial assignment
הסמה לנוסחה נותנת ערך לכל המשתנים בנוסחה. אפשר לדבר גם על הסמה חלקית, שנותנת ערכים רק לחלק מהמשתנים — אבל כשאומרים "הסמה" בלי הסתייגות, הכוונה למלאה.
SATnotationNP
What was said on the recording (1)
- אפשר לדבר על הסמה חלקית
  b7qpFI87X-s @ 00:20:38
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·19
The witness length must be polynomial in the input, not in the variable count
ההגדרה של המוודא דורשת עדות באורך $p(|\varphi|)$ — פולינום באורך הנוסחה. הסמה היא באורך $n$ = מספר המשתנים, ו- $n$ אינו אורך הקלט. התיקון: לוקחים $p(|\varphi|)=|\varphi|$ , ומתייחסים רק ל- $n$ הביטים הראשונים בעדות; מותר לחסום את אורך העדות ולהתעלם מהביטים העודפים.
נוסחה באורך 1000 יכולה להכיל 100 משתנים או 200 — ולכן אי אפשר לדרוש עדות באורך "מספר המשתנים". מכיוון שמספר המשתנים לעולם אינו עולה על אורך הנוסחה, החסם $|\varphi|$ תמיד תקף.
NPCertificates and verifiersSATEncodings
What was said on the recording (1)
- המיוצגת על ידי
  b7qpFI87X-s @ 00:34:28
- ה-ASR משבש; הנקודה נאמרת במפורש מספר פעמים בקטע.
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·20
(|V| choose k) is not polynomial — because k is part of the input
האלגוריתם הנאיבי ל-CLIQUE עובר על כל תתי-הקבוצות בגודל $k$ , כלומר $\Omega\!\left(\binom{|V|}{k}\right)\ge (|V|/k)^{k}$ . זה אינו פולינומי — פולינום הוא משתנה בחזקת קבוע, וכאן החזקה $k$ מתקבלת כחלק מהקלט ולכן משתנה.
$\binom{|V|}{k}\ \ge\ \left(\frac{|V|}{k}\right)^{k}$
זה לא אומר שהבעיה אינה ב-P; זה אומר שהאלגוריתם הספציפי הזה אינו פולינומי.
Graph problemsAsymptoticsPEncodings
What was said on the recording (1)
- הדבר הזה אינו פולינומי בגודל הקלת כי K מתקבל כחלק מהקלת
  b7qpFI87X-s @ 00:46:21
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL7·21
Choose a subset the "stupid" way, then check
במקום לנסות לבחור $k$ קודקודים שונים באופן אי-דטרמיניסטי (מסובך), פשוט כותבים $k$ מספרים בין $1$ ל- $|V|$ באופן אי-דטרמיניסטי, ואז בודקים דטרמיניסטית אם יש כפילות — ואם כן, דוחים.
הכלל הכללי: להקל על החלק האי-דטרמיניסטי כמה שאפשר, ולדחוף את כל התנאים לבדיקה הדטרמיניסטית שאחריו.
NondeterminismNPGraph problemsProof technique
What was said on the recording (1)
- בצורה הכי טיפ הכי טיפשית שיש פשוט לכתוב K מספרים
  b7qpFI87X-s @ 00:52:23
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·22
"Do k steps" may be exponential
מספרים מתקבלים בברירת מחדל בייצוג בינארי, ולכן לולאה שרצה $k$ פעמים עלולה להיות אקספוננציאלית באורך הקלט. חייבים לחסום: כאן $k\le|V|$ , ולכן $O(k\cdot|V|) = O(|V|^{2})$ .
EncodingsAsymptoticsGraph problems
What was said on the recording (1)
- אנחנו מניחים שמספר מתקבל בעיצוג בינרי
  b7qpFI87X-s @ 00:57:20
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL7·23
Polynomial-time reduction, functional formulation
רדוקציית זמן פולינומי מ- $A$ ל- $B$ היא פונקציה $f:\Sigma^*\to\Sigma^*$ הניתנת לחישוב בזמן פולינומי, המקיימת לכל $x$ : $x\in A \iff f(x)\in B$ . מסמנים $A\le_p B$ .
$A\le_p B \iff \exists f \text{ polynomial}:\ \forall x\ \big(x\in A \iff f(x)\in B\big)$
בפועל נוח יותר להגדיר את הפונקציה דרך המכונה שמחשבת אותה מאשר להגדיר פונקציה ואז מכונה בנפרד — כך חוסכים עבודה כפולה.
ReductionsPNP
What was said on the recording (1)
- ניתנת לחישוב בזמן פולינומי
  b7qpFI87X-s @ 01:04:49
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL7·24
What ≤p means: A is no harder than B, up to a polynomial
אם $A\le_p B$ ויש מכונה שמכריעה את $B$ בזמן כלשהו, אפשר להכריע גם את $A$ באותו זמן עד כדי פולינום: ממירים את הקלט (זמן פולינומי) ומריצים את המכריע של $B$ . כלומר רמת הקושי של $A$ חסומה בפולינום של רמת הקושי של $B$ .
ReductionsPNP
What was said on the recording (1)
- זה אומר שa אינה קשה מB
  b7qpFI87X-s @ 01:07:29
The lecture number was inferred from recording dates, not stated in the title.
PitfallRememberL7·25
A reduction decides nothing
כדי להראות $\mathrm{IS}\le_p\mathrm{CLIQUE}$ אין צורך באלגוריתם שמכריע את אחת מהן. כל מה שנדרש הוא דרך להמיר קלטים בזמן פולינומי, כך שהגרירה מתקיימת בשני הכיוונים.
טעות נפוצה: לחשוב שהמכונה ברדוקציה "פותרת את הבעיה באמצעות" בעיית היעד. היא רק ממירה מופע למופע.
ReductionsProof technique
What was said on the recording (1)
- אני לא צריך להכריע אף אחד
  b7qpFI87X-s @ 01:11:50
The lecture number was inferred from recording dates, not stated in the title.
NotationL7·26
The complement edge set
$\overline{E} = \binom{V}{2}\setminus E$ — כל זוגות הקודקודים (כלומר כל הקשתות האפשריות) פחות הקשתות הקיימות. הגרף המשלים הוא $\overline{G}=(V,\overline{E})$ , עם אותם קודקודים.
$\overline{E} = \binom{V}{2}\setminus E$
Graph problemsReductionsnotation
What was said on the recording (1)
- זה כל האפשרויות לבחור שני קודקודים מתוך קבוצת הקודקודים
  b7qpFI87X-s @ 01:15:36
The lecture number was inferred from recording dates, not stated in the title.
Lecture 8
PitfallRememberL8·1
"For every language there is a reduction" — not "there is a reduction from every language"
משפט קוק-לוין אומר: לכל שפה $B\in\mathrm{NP}$ קיימת רדוקציית זמן פולינומי מ- $B$ ל-SAT. הניסוח "יש רדוקציה מכל שפה ב-NP ל-SAT" משמעו רדוקציה אחת שטובה לכולן — וזה לא המצב.
QuantifiersCook-LevinReductionsNP-completeness
What was said on the recording (1)
- יש רדוקציה מכל שפה בnp לס זה לא אותו דבר
  jnELHQSPc8o @ 00:01:40
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL8·2
∃ hands you variables; ∀ takes them away
כלל תחבירי לזיהוי מה יש לכם ביד בהוכחה: מה שמופיע אחרי "קיים" נשאר אצלכם; מה שמופיע אחרי "לכל" נעלם ברגע שה"לכל" נגמר — בדיוק כמו scope בקוד.
בהוכחת קוק-לוין: יש ביד את $M$ , את $p$ ואת $q$ ; אין ביד את $x$ (הוא אחרי "לכל"), ובוודאי לא את $w$ (שהוא אחרי "לכל $x$ "). ה- $x$ כן יהיה ביד כשהרדוקציה תרוץ, אבל לא בשלב שבו קובעים את הבנייה.
QuantifiersProof techniqueCook-Levin
What was said on the recording (1)
- קיים מביא לי משתנים
  jnELHQSPc8o @ 00:05:50
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL8·3
What the reduction must do, and why ∃ is the bridge
הרדוקציה מקבלת מופע $x$ של $A$ ומייצרת נוסחת CNF $\varphi$ , כך ש- $x\in A$ $\iff$ $\varphi$ ספיקה. שימו לב שהתכונה שנגררת בשני הצדדים היא קיום: "קיימת $w$ " מצד אחד, "קיימת הסמה" מצד שני.
Cook-LevinReductionsSATCertificates and verifiersQuantifiers
What was said on the recording (1)
- זה אומר קיימת הסמה נכון
  jnELHQSPc8o @ 00:07:56
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL8·4
Encoding a run as a table: the state is written on the tape
מקודדים ריצה כטבלה: כל שורה היא תיאור הסרט בצעד אחד. את מיקום הראש מקודדים על ידי כתיבת המצב בתא שמיד משמאל לתו שהראש מצביע עליו — וכך שורה אחת מכילה גם את תוכן הסרט, גם את המצב וגם את מיקום הראש.
דוגמה: אם המצב $q_1$ והראש על התו $1$ , נכתב $\dots\, q_1\, 1\dots$ . אם $\delta(q_1,1)=(q_3,0,R)$ , השורה הבאה תהיה אותו סרט עם $0$ במקום ה- $1$ ו- $q_3$ מוזז ימינה.
Cook-LevinConfigurationsEncodingsTuring machines
What was said on the recording (1)
- במקום שהראש נמצא אני אכתוב שמה את המצב
  jnELHQSPc8o @ 00:11:01
The lecture number was inferred from recording dates, not stated in the title.
ClaimRememberL8·5
The dimensions of the table
מספר השורות: $R(n)=p(n)+q(n)$ — חסם על זמן הריצה. מספר העמודות: $2R(n)+1$ — כי הראש עשוי לזוז לכל אחד משני הכיוונים עד $R(n)$ , ועוד תא אחד לסימון המצב.
$\text{rows}=R(n),\qquad \text{columns}=2R(n)+1,\qquad R(n)=p(n)+q(n)$
הכל פולינומי ב- $|x|$ , ולכן מספר המשתנים $O(R(n)^2)$ — וזה מה שמאפשר לרדוקציה לרוץ בזמן פולינומי.
Cook-LevinReductionsAsymptotics
What was said on the recording (1)
- מספר העמודות בטבלה זה פעמיים
  jnELHQSPc8o @ 00:17:27
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL8·6
The boolean variables x_{i,j,s}
נסמן $L=\Gamma_M\cup\{0,1\}\cup Q_M$ — כל מה שיכול להופיע בתא של הטבלה. לכל שורה $i$ , עמודה $j$ ותו $s\in L$ מגדירים משתנה בוליאני $x_{i,j,s}$ , שאינטואיטיבית פירושו "בתא $(i,j)$ כתוב $s$ ".
$L=\Gamma_M\cup\{0,1\}\cup Q_M;\quad x_{i,j,s} \text{ for } i\le R(n),\ j\le 2R(n)+1,\ s\in L$
תחבירית זהו רק משתנה — אין שום דבר סמנטי בהגדרה. כמו בבעיית שמונה המלכות: מגדירים משתנה לכל משבצת וחושבים עליו כ"יש מלכה / אין מלכה".
Cook-LevinSATReductions
What was said on the recording (1)
- נגדיר משתנה בולאני
  jnELHQSPc8o @ 00:22:45
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL8·7
The four sub-formulas of Cook-Levin
$\varphi = \varphi_{\mathrm{table}} \wedge \varphi_{\mathrm{start}} \wedge \varphi_{\mathrm{accept}} \wedge \varphi_{\mathrm{move}}$ — וגם של נוסחאות CNF היא נוסחת CNF.
$\varphi_{\mathrm{table}}$ : בכל תא בדיוק תו אחד. $\varphi_{\mathrm{start}}$ : השורה הראשונה היא הקונפיגורציה ההתחלתית. $\varphi_{\mathrm{accept}}$ : $q_{\mathrm{accept}}$ מופיע איפשהו בטבלה. $\varphi_{\mathrm{move}}$ : כל מעבר בין שורות חוקי. כל אחת נבנית בנפרד ולא מסתמכת על האחרות.
Cook-LevinSATReductions
What was said on the recording (1)
- ארבע תת נוסחאות
  jnELHQSPc8o @ 00:27:13
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL8·8
"Exactly one" in CNF form
$\varphi_{\mathrm{table}} = \bigwedge_{i,j}\Big[\big(\bigvee_{s\in L} x_{i,j,s}\big) \wedge \bigwedge_{s\ne t}\big(\neg x_{i,j,s}\vee\neg x_{i,j,t}\big)\Big]$ — "לפחות אחד" ו-"לא שניים", ויחד "בדיוק אחד".
$\bigwedge_{i,j}\Big[\big(\bigvee_{s\in L} x_{i,j,s}\big)\wedge\bigwedge_{s\ne t}(\neg x_{i,j,s}\vee\neg x_{i,j,t})\Big]$
זו התבנית הסטנדרטית לקידוד "בדיוק אחד מבין $k$ " בנוסחת CNF, ואותה תבנית בדיוק שימשה בבעיית שמונה המלכות.
Cook-LevinSATReductions
What was said on the recording (1)
- או שxs לא הוא not
  jnELHQSPc8o @ 00:29:23
- ה-ASR משבש את הנוסחה; המבנה משוחזר מהדיון בקול.
The lecture number was inferred from recording dates, not stated in the title.
Proof techniqueRememberL8·9
φ_start: the only freedom is in the witness cells
$\varphi_{\mathrm{start}}$ קובעת את השורה הראשונה תו-אחר-תו: בלנקים, $q_{\mathrm{start}}$ , אותיות $x$ , ואז בתאי העדות רק " $0$ או $1$ " (הסגר של שני ליטרלים), ואז בלנקים. אלה $q(|x|)$ התאים היחידים שנשארים חופשיים.
זו הנוסחה היחידה שדורשת את $x$ עצמו ולא רק את $|x|$ . וזה בדיוק החופש שקושר בין "קיימת $w$ " ל"קיימת הסמה מספקת".
Cook-LevinSATCertificates and verifiersReductions
What was said on the recording (1)
- יהיה או אפס או
  jnELHQSPc8o @ 00:39:31
- ASR משובש; המבנה שוחזר מהדיון.
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL8·10
The locality of computation: the heart of Cook-Levin
הניסיון הישיר לכתוב "אם השורה נראית כך אז הבאה נראית כך" דורש $|L|^{2R(n)+1}$ מקרים — מעריכי, ולכן פסול. הפתרון: חישוב במכונת טיורינג הוא לוקלי — בין שתי שורות עוקבות רק התאים הסמוכים לראש משתנים. לכן די לבדוק שכל חלון $2\times 3$ בטבלה חוקי.
$|\varphi_{\mathrm{move}}| = O\big(R(n)^{2}\big)\cdot |L|^{6}$
מספר סוגי החלונות הוא $|L|^{6}$ — תלוי רק ב- $M$ , לא ב- $x$ , ולכן הנוסחה נשארת פולינומית. זו גם התשובה לשאלה למה בכלל צריך מודל כה פרימיטיבי ומדויק כמו מכונת טיורינג.
Cook-LevinTuring machinesReductionsSAT
What was said on the recording (1)
- החישוב במכונת פיורינג הוא מאוד מאוד לוקלי
  jnELHQSPc8o @ 00:50:11
The lecture number was inferred from recording dates, not stated in the title.
DefinitionRememberL8·11
When a 2×3 window is legal
חלון הוא חוקי אם $\delta$ מאפשרת אותו, או אם הוא העתקה של שורה שכבר הגיעה למצב מקבל.
התוספת השנייה נחוצה כי חסם הזמן הוא חסם מלמעלה ולא הדוק: אחרי ש- $q_{\mathrm{accept}}$ מופיע, ממשיכים להעתיק את אותה שורה עד סוף הטבלה. חוקיות של שישייה תלויה רק ב- $\delta$ , כלומר רק במכונה.
Cook-LevinTuring machinesReductions
What was said on the recording (1)
- אם דלטא מאפשרת אותו או שהוא העתקה של מצב
  jnELHQSPc8o @ 00:54:33
The lecture number was inferred from recording dates, not stated in the title.
NotationL8·12
Windows are indexed by their top-left cell
החלונות ממוספרים לפי התא השמאלי-העליון שלהם: $i$ רץ מ- $1$ עד $R(n)-1$ (כי צריך עוד שורה מתחת), ו- $j$ רץ מ- $1$ עד $2R(n)-1$ (כי צריך עוד שתי עמודות מימין).
Cook-LevinnotationReductions
What was said on the recording (1)
- האינדקסים שאני נותן לחלונות הם לפי התא השמאלי העליון
  jnELHQSPc8o @ 01:05:18
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL8·13
The two big ideas of the proof
(1) לקחת אובייקט ולמדל אותו כנוסחת CNF — רעיון שחוזר בהרבה תחומים במדעי המחשב; (2) להחליף גרירה גלובלית בין שורות בבדיקת חלונות בגודל קבוע מראש — וזה מה שמציל את הפולינומיות.
Cook-LevinSATProof techniqueFoundations
What was said on the recording (1)
- הרעיון שלקחת משהו ולמדל אותו כנוסחת CNF
  jnELHQSPc8o @ 01:15:27
The lecture number was inferred from recording dates, not stated in the title.
RuleRememberL8·14
The witness is the first domino
ברגע שנקבעו תאי העדות בשורה הראשונה, כל שאר הטבלה נקבעת — כי המכונה דטרמיניסטית. זהו החופש היחיד שיש להסמה מספקת, וזה בדיוק מה שהופך "קיימת הסמה מספקת" ל"קיים $w$ שעליו $M$ מקבלת".
Cook-LevinCertificates and verifiersSAT
What was said on the recording (1)
- זה כמו אבן ראשונה של דומינו שמפילה את כל השאר
  jnELHQSPc8o @ 01:16:30
The lecture number was inferred from recording dates, not stated in the title.
TheoremRememberL8·15
Cook-Levin: SAT is NP-hard
$\mathrm{SAT}$ היא NP-קשה, ומכיוון שכבר הראינו $\mathrm{SAT}\in\mathrm{NP}$ — היא NP-שלמה. זו הבעיה ה-NP-שלמה הראשונה, ויריית הפתיחה של כל התחום.
$\mathrm{SAT} \text{ NP-complete}$
ההיסטוריה: אחרי המאמר של קוק ולוין הגיע מאמרו של ריצ'רד קארפ עם 21 בעיות NP-שלמות (בהן SAT $\to$ 3SAT $\to$ IS $\to$ CLIQUE). היום ידועות אלפים.
Cook-LevinNP-completenessSATReductions
What was said on the recording (1)
- סת היא אןפ קשה
  jnELHQSPc8o @ 01:20:20
The lecture number was inferred from recording dates, not stated in the title.
RuleL8·16
What to do once you know a problem is NP-hard
אחרי שבעיה מזוהה כ-NP-קשה ואי אפשר להוכיח שהיא ב-P, השאלה הבאה היא על מה מוכנים לוותר כדי לקבל זמן ריצה סביר: לוותר על דיוק הפתרון (קירוב), או לוותר על נכונות תמידית (אלגוריתמים אקראיים).
NP-completenessApproximationRandomization
What was said on the recording (1)
- איך אני מתמודד עם NP קושי
  jnELHQSPc8o @ 01:22:29
The lecture number was inferred from recording dates, not stated in the title.
Lecture 9
RuleRememberL9·1
How the stock of NP-hard problems grows
די להראות רדוקציה מבעיה שכבר ידוע שהיא NP-קשה אל בעיה חדשה, כדי שהחדשה תהיה NP-קשה. השרשרת שנבנתה: $\mathrm{SAT}\le_p 3\mathrm{SAT}\le_p \mathrm{IS}\le_p \mathrm{CLIQUE}$ .
NP-completenessReductionsSATGraph problems
What was said on the recording (1)
- מספיק שאני אראה רדוקציה מבעיה שאני יודע שהיא NP קשה
  dV6lE5AKG7Q @ 00:00:33
NotationL9·2
The second way to write a decision problem: Input / Question
במקום להגדיר בעיית הכרעה כקבוצה, אפשר לכתוב קלט: … שאלה: … . אותה אינפורמציה בדיוק, אבל עם יותר חופש מבני — ולכן נוח יותר לבעיות קומבינטוריות.
כלל אצבע: ברגע שתיאור הבעיה מתחיל להיות ארוך מדי, לא כותבים אותו בתוך סוגריים מסולסלים.
notationNP-completenessGraph problems
What was said on the recording (1)
- צורת כתיבה נוספת קלט גרף
  dV6lE5AKG7Q @ 00:06:54
DefinitionRememberL9·3
Vertex cover
$U\subseteq V$ היא כיסוי בקודקודים אם לכל קשת $e\in E$ מתקיים $e\cap U \ne \emptyset$ — כלומר כל קשת מכילה לפחות קודקוד אחד מהכיסוי.
$U \text{ vertex cover} \iff \forall e\in E:\ e\cap U\ne\emptyset$
"כיסוי בקודקודים" הוא קיצור ל"כיסוי הקשתות בקודקודים". קשת בגרף לא מכוון היא קבוצה של שני קודקודים (זוג לא סדור) — ולכן החיתוך מוגדר. ממדל בעיות אמיתיות: איפה למקם מצלמות כך שכל כביש מכוסה.
Graph problemsNP-completeness
What was said on the recording (1)
- עיקרי כיסוי בצמטים כאשר לכל קשת
  dV6lE5AKG7Q @ 00:08:02
TheoremRememberL9·4
Vertex cover = complement of an independent set
$U$ היא כיסוי בקודקודים ב- $G$ אם ורק אם $V\setminus U$ היא קבוצה בלתי תלויה ב- $G$ .
$U \text{ vertex cover} \iff V\setminus U \text{ independent}$
זו ההבחנה שמייצרת מיד את הרדוקציה: $\mathrm{IS}\le_p \mathrm{VC}$ על ידי $\langle G,k\rangle\mapsto\langle G,|V|-k\rangle$ — אותו גרף, ורק המספר משתנה, בדיוק בגלל הקשר בין גודל קבוצה לגודל המשלים שלה.
Graph problemsReductionsNP-completeness
What was said on the recording (1)
- כיסוי בקודקודים יודעים אם ורק אם הקבוצה המשלימה היא בלתי תלוי
  dV6lE5AKG7Q @ 00:12:45
Proof techniqueRememberL9·5
Knowing how to phrase the goal is often 90% of the solution
"לדעת לנסח מה אנחנו רוצים להוכיח זה לפעמים 90% מהפתרון." ברגע שהמטרה מנוסחת במדויק, השורה הבאה בהוכחה כותבת את עצמה.
Proof techniqueReductions
What was said on the recording (1)
- לדעת לנסח מה אנחנו רוצים להוכיח זה לפעמים
  dV6lE5AKG7Q @ 00:15:29
PitfallRememberL9·6
Don't jump to contradiction when the structure doesn't call for it
הוכחה בשלילה אינה שגויה, אבל היא לא תמיד הכלי הנכון. "אני יכול להבריג בורג פיליפס עם מברג שטוח או עם סכין — אבל אני לא רוצה." מניחים בשלילה רק כשצריך להוכיח שמשהו לא קורה.
Proof technique
What was said on the recording (1)
- אני יכול להבריק בורק פיליפס עם מברג שטוח
  dV6lE5AKG7Q @ 00:16:03
Proof techniqueRememberL9·7
Cite an ∃ claim; just apply a ∀ claim
טענת קיום מציגה משתנה חדש שרוצים לתת לו שם ולהשתמש בו — לכן מצטטים אותה. טענת "לכל" אינה מביאה משתנה; אין מה לצטט — פשוט מחילים אותה ישירות על האובייקט הרלוונטי.
Proof techniqueQuantifiers
What was said on the recording (1)
- טענת קיום מציגה לי משתנה
  dV6lE5AKG7Q @ 00:18:45
RuleRememberL9·8
"At least k" versus "exactly k": when they coincide
ב-CLIQUE ו-IS אפשר תמיד להוציא קודקודים בלי לקלקל, ולכן "לפחות $k$ " שקול ל"בדיוק $k$ ". ב-VC אפשר תמיד להוסיף קודקודים, ולכן "לכל היותר $k$ " שקול ל"בדיוק $k$ ". שתי ההגדרות חוקיות.
Graph problemsNP-completenessProof technique
What was said on the recording (1)
- אם יש כיסוי בגודל לכל היותר K אני יכול להניח שיש כיסוי בדיוק בגודל
  dV6lE5AKG7Q @ 00:31:15
ClaimL9·9
VC ∈ NP
בוחרים באופן אי-דטרמיניסטי קבוצת קודקודים ובודקים שלכל קשת יש קודקוד בקבוצה. בסך הכל: כל בעיה שאפשר לוודא עדות עבורה בזמן פולינומי היא ב-NP.
Graph problemsNPCertificates and verifiers
What was said on the recording (1)
- אני בוחר באופן דטרמיניסטי קבוצה ורק לבדוק שהיא ורטקס
  dV6lE5AKG7Q @ 00:32:18
DefinitionRememberL9·10
Not-all-equal satisfaction
$v$ מספקת את $\varphi$ במובן NAE אם לכל הסגר ב- $\varphi$ קיים ליטרל ש- $v$ נותנת לו $1$ וגם קיים ליטרל ש- $v$ נותנת לו $0$ .
$\forall C\in\varphi:\ \exists \ell\in C\ v(\ell)=1 \ \wedge\ \exists \ell'\in C\ v(\ell')=0$
זו תכונה של הזוג (נוסחה, הסמה) — לא של הנוסחה לבדה. הסגר עם ליטרל יחיד לעולם לא ניתן לסיפוק במובן NAE. $k$ -NAE-SAT: בהינתן נוסחת $k$ CNF, האם קיימת הסמה המספקת אותה במובן NAE.
SATNP-completenessReductions
What was said on the recording (1)
- וגם קיים ניטרל עבורו V נותנת בערך אפס
  dV6lE5AKG7Q @ 00:35:16
DefinitionRememberL9·11
Multigraph and induced cut
מולטיגרף מרשה קשתות מקבילות (ולולאות). בהינתן $U\subseteq V$ , החתך המושרה על ידי $U$ הוא קבוצת כל הקשתות שיש להן בדיוק קצה אחד ב- $U$ — הקשתות ש"חוצות" בין $U$ ל- $V\setminus U$ .
$\mathrm{cut}(U)=\{e\in E : |e\cap U| = 1\}$
Graph problemsNP-completeness
What was said on the recording (1)
- היא קבוצת כל הקשטות שיש להן בדיוק קצה אחד
  dV6lE5AKG7Q @ 00:46:39
PitfallRememberL9·12
In MAX-CUT the "at least" is essential
ב-MAX-CUT בוחרים קודקודים אבל סופרים קשתות, ולכן הזזת קודקוד אחד עשויה לשנות את מספר הקשתות בחתך דרמטית. אי אפשר "לכוון" לגודל מדויק, ולכן ההגדרה חייבת להיות "לפחות $k$ ".
דוגמה: קודקוד בעל דרגה גבוהה מאוד; או גרף שבו כל חתך זוגי — ואז אי אפשר להגיע ל- $k+1$ .
Graph problemsNP-completeness
What was said on the recording (1)
- כאן הלפחות הוא קריטי
  dV6lE5AKG7Q @ 00:51:48
Proof techniqueRememberL9·13
The reduction 3NAE-SAT ≤p MAX-CUT
מנוסחת $3$ CNF עם $n$ משתנים ו- $m$ הסגרים בונים מולטיגרף: קודקוד לכל ליטרל ( $2n$ קודקודים); קשת כחולה בין $x_i$ ל- $\neg x_i$ לכל $i$ ; שלוש קשתות אדומות (משולש) בין הליטרלים של כל הסגר. מחזירים $\langle G, n+2m\rangle$ .
$\varphi \mapsto \big\langle G,\ n+2m \big\rangle$
זמן: ליניארי באורך הנוסחה — $n\le|\varphi|$ קודקודים, $n$ קשתות כחולות, $3m$ קשתות אדומות. הקשתות האדומות עשויות להיות מקבילות, ולכן צריך מולטיגרף.
ReductionsGraph problemsSATNP-completeness
What was said on the recording (1)
- נגדיר קודקוד עבור
  dV6lE5AKG7Q @ 00:57:22
RuleRememberL9·14
The triangle argument: each clause contributes exactly 2 or 0
שלושת הליטרלים של הסגר יוצרים משולש. לכל חלוקה לשני צדדים: אם כולם באותו צד — $0$ קשתות בחתך; אחרת — בדיוק $2$ , לא משנה איפה הקודקוד השלישי. לכן כל הסגר תורם לכל היותר 2 לכל חתך.
כאן ה-3 עובד חזק לטובתנו: עם 4 או 5 ליטרלים יש יותר מדי מקרים ולא מובטח מספר קבוע. זו הסיבה שהרדוקציה יוצאת מ- $3$ NAE-SAT דווקא.
ReductionsGraph problemsSATCombinatorics
What was said on the recording (1)
- לא משנה איפה אני אשים אותו שתי קשטות חוצות את החתך
  dV6lE5AKG7Q @ 01:17:54
Exam guidanceRememberL9·15
You get stuck by worrying three steps ahead
רוב הפעמים שנתקעים זה לא כי השלב הבא לא ברור, אלא כי מודאגים מ"איך אצא מזה עוד שלושה שלבים". אם אתם יודעים את השורה הבאה — כתבו אותה. להיתקע רק בשלב שבו באמת אין המשך.
Proof techniqueExam
What was said on the recording (1)
- אם אני יודע להגיד את השורה הבאה
  dV6lE5AKG7Q @ 01:23:20
PitfallRememberL9·16
A reduction is not symmetric: the graph didn't come from the sky
גם בכיוון השני של ההוכחה, הנוסחה היא זו שהתקבלה והגרף הוא זה שנבנה ממנה — ולכן המבנה שלו ידוע במדויק. אין צורך "ללכת אחורה ברדוקציה"; שני האובייקטים כבר ביד.
זו נקודת בלבול נפוצה: "קיבלתי גרף, איך אדע איך הוא נראה?" — לא קיבלתם גרף. בשום שלב לא נאמר "יהי $G$ גרף".
ReductionsProof technique
What was said on the recording (1)
- הרדוקציה היא לא סימטרית
  dV6lE5AKG7Q @ 01:24:54
Proof techniqueRememberL9·17
The reverse direction: bound from above to force a lower bound
בחתך יש לפחות $n+2m$ קשתות; הקשתות האדומות תורמות לכל היותר $2m$ ; לכן הקשתות הכחולות תורמות לפחות $n$ — כלומר לכל $i$ בדיוק אחד מבין $x_i,\neg x_i$ ב- $U$ . וזה בדיוק מה שמגדיר הסמה חוקית.
התבנית: כשצריך "לפחות" על רכיב אחד, חוסמים מלמעלה את הרכיב השני ומחסירים. $\ge$ פחות $\le$ נותן $\ge$ .
ReductionsProof techniqueGraph problems
What was said on the recording (1)
- אז זה אומר שהקשטות הכחולות צריכות לתרום לפחות
  dV6lE5AKG7Q @ 01:29:06
Lecture 10
TheoremRememberL10·1
P is the easiest class under polynomial reductions
אם $A\in\mathrm{P}$ ו- $B$ אינה טריוויאלית, אז $A\le_p B$ . כלומר לכל שפה לא-טריוויאלית יש רדוקציה אליה מכל שפה ב- $\mathrm{P}$ .
$A\in\mathrm{P}\ \wedge\ B \text{ non-trivial} \;\Rightarrow\; A\le_p B$
זו המקבילה המדויקת לטענה מחישוביות ("אם $A\in R$ ו- $B$ אינה טריוויאלית אז $A\le_m B$ "), עם אותה הוכחה בדיוק בתוספת ניתוח זמן.
ReductionsPComplexity classes
What was said on the recording (1)
- נניח כי A בP וכי B טריביאלית
  QfE6eBttdJg @ 00:00:32
RuleRememberL10·2
The meaning: polynomial reductions are a coarse tool
מהטענה נובע שרדוקציות זמן פולינומי אינן מסוגלות להבחין בין בעיות בתוך $\mathrm{P}$ — מבחינתן כולן אותו דבר. הטענה מעידה יותר על הכלי מאשר על המחלקה.
ובכל זאת יש ב- $\mathrm{P}$ רמות קושי (ממשפט ההיררכיה: יש בעיות ב- $\mathrm{DTIME}(n^3)$ שאינן ב- $\mathrm{DTIME}(n)$ ). לכן כדי להראות שמחלקה כמו $\mathrm{DTIME}(n^{10})$ אינה סגורה לרדוקציות זמן פולינומי, משלבים את הטענה הזו עם משפט ההיררכיה.
ReductionsPHierarchy theoremsComplexity classes
What was said on the recording (1)
- רדוקציות זמן פולינומי הן גסות מדי מכדי להבדיל בין בעיות בפי
  QfE6eBttdJg @ 00:04:12
PitfallRememberL10·3
Constants obtained before the input cost constant time
ברדוקציה שכותבת $b_0$ או $b_1$ : לא משנה כמה הם ארוכים — הם אינם תלויים בקלט, כי הושגו לפניו. לכן כתיבתם היא זמן קבוע ביחס ל- $|x|$ , והמכונה "מחזיקה אותם בבטן" ולא מקבלת אותם מבחוץ.
שוב אותו כלל תחבירי: משתנים שמופיעים לפני $x$ אינם יכולים להיות תלויים בו. "כמה שיותר תעשו את זה תחבירי — יהיה לכם יותר פשוט."
ReductionsQuantifiersAsymptoticsProof technique
What was said on the recording (1)
- הם לא תלוי בקלת
  QfE6eBttdJg @ 00:10:16
Proof techniqueRememberL10·4
To prove NP-hardness, start from a similar problem
ה-go-to הראשון בבניית רדוקציה הוא לחפש בעיה NP-קשה שקרובה לבעיה החדשה. ככל שאוסף הבעיות ה-NP-קשות שלכם גדול יותר, כך קל יותר למצוא כזו.
ReductionsNP-completeness
What was said on the recording (1)
- אני אחפש בעיה שהיא מאוד קרובה
  QfE6eBttdJg @ 00:14:11
DefinitionRememberL10·5
k-colorability
$G$ הוא $k$ -צביע אם קיימת פונקציה $f:V\to[k]$ כך שאף קשת אינה מונוכרומטית — אין קשת ששני קצותיה באותו צבע. הפונקציה אינה חייבת להיות על, ולכן $3$ -צביע גורר $4$ -צביע.
$G \text{ is } k\text{-colorable} \iff \exists f:V\to[k]\ \forall xy\in E:\ f(x)\ne f(y)$
ה- $k$ הוא חלק משם הבעיה ולא חלק מהקלט: המופעים של $k\mathrm{COL}$ הם גרפים בלבד.
Graph problemsNP-completeness
What was said on the recording (1)
- כך שאף קשת היא לא מונוכרומטית
  QfE6eBttdJg @ 00:15:18
PitfallRememberL10·6
Why the identity is not a reduction from 3COL to 4COL
כיוון אחד עובד ( $3$ -צביע $\Rightarrow$ $4$ -צביע), אבל הכיוון השני נכשל: $K_4$ הוא $4$ -צביע ואינו $3$ -צביע. כשכיוון אחד קל מדי — לחשוד.
דוגמה נגדית טובה: קליקה בגודל $n$ דורשת בדיוק $n$ צבעים, כי כל קודקוד מחובר לכולם.
ReductionsGraph problemsProof technique
What was said on the recording (1)
- קודם כל לחשוד אם הכיוון הראשון הוא נורא קל
  QfE6eBttdJg @ 00:17:58
PitfallRememberL10·7
A reduction never touches the solution: not the coloring, not the assignment
לאלגוריתם הרדוקציה יש גישה רק לקלט (הגרף). אין לו גישה לצביעה — הוא לא מחפש אותה, לא מקבל אותה, ולא מעניין אותו. בהוכחה מותר לומר "קיימת צביעה" ולעבוד איתה; באלגוריתם — אסור.
המרצה מסמן את זה כנקודה "סופר סופר חשובה, עדינה וחמקמקה". זה כמו לומר ברדוקציה מ-HALT ש"אם המכונה עוצרת אז נחזיר…" — אי אפשר לבדוק את זה. אותו דבר בקוק-לוין: האלגוריתם פירק והרכיב הסגרים ולא נגע בהסמות.
ReductionsProof techniqueGraph problemsSAT
What was said on the recording (1)
- לאלגוריתם אין גישה לצבעים
  QfE6eBttdJg @ 00:22:10
TheoremRememberL10·8
3COL ≤p 4COL: add a vertex joined to everything
הרדוקציה: על גרף $G$ , בונים $\hat G$ על ידי הוספת קודקוד חדש $\hat v$ המחובר בקשת לכל קודקודי $V$ , ומחזירים $\hat G$ . זמן ליניארי.
$G \mapsto \hat G = \big(V\cup\{\hat v\},\ E\cup\{\hat v u : u\in V\}\big)$
בכיוון $\Leftarrow$ : אם $\hat G$ הוא $4$ -צביע, בלי הגבלת הכלליות $g(\hat v)=4$ ; ומכיוון ש- $\hat v$ מחובר לכל קודקוד, אף קודקוד אחר לא צבוע ב- $4$ — ולכן הצמצום ל- $V$ הוא צביעה ב- $3$ צבעים. אילולא חיברנו אותו לכולם, הצעד הזה היה נשבר.
ReductionsGraph problemsNP-completeness
What was said on the recording (1)
- וחיבור שלו בקשת לכל
  QfE6eBttdJg @ 00:24:50
PitfallL10·9
With several graphs around, always say which graph
ברדוקציות בין בעיות גרפים אסור לומר "קשת בגרף" סתם — יש כמה גרפים בהוכחה. תמיד: "קשת ב- $G$ " או "קשת ב- $\hat G$ ", "מונוכרומטית ב- $G$ ".
ReductionsnotationGraph problems
What was said on the recording (1)
- יש פה כמה גרפים אז לא להגיד בגרף
  QfE6eBttdJg @ 00:29:22
DefinitionRememberL10·10
Subset Sum
קלט: סדרת מספרים $a_1,\dots,a_n$ ומספר $s$ . שאלה: האם קיימת קבוצת אינדקסים $I$ שעבורה $\sum_{i\in I} a_i = s$ ?
$\exists I\subseteq[n]:\ \sum_{i\in I} a_i = s$
Subset SumNP-completeness
What was said on the recording (1)
- האם קיימת קבוצה I של אינדקסים
  QfE6eBttdJg @ 00:39:42
PitfallRememberL10·11
The DP algorithm for Subset Sum is not polynomial
אלגוריתם התכנון הדינמי רץ בזמן $O(n\cdot s)$ — וזה אינו פולינומי בגודל הקלט, כי $s$ הוא מספר ואורך הקידוד שלו הוא $\log s$ ביטים בלבד.
$O(n\cdot s) \ \ge\ n\cdot 2^{n} \ =\ 2^{\Omega(\sqrt{|\text{input}|})}$
חשבון מפורש: אם כל $a_i\in[2^{n},2^{2n}]$ וגם $s$ כזה, אז אורך הקלט הוא לכל היותר $(n+1)\cdot 2n = O(n^{2})$ , בעוד זמן הריצה הוא לפחות $n\cdot 2^{n}$ — כלומר $2^{\Omega(\sqrt{|\text{input}|})}$ . לא אקספוננציאלי לגמרי, אבל בוודאי לא פולינומי.
Subset SumEncodingsAsymptoticsP
What was said on the recording (1)
- כשאנחנו מתעסקים בבעיות במספרים צריך להיות מאוד מאוד מאוד עדינים
  QfE6eBttdJg @ 00:42:57
RuleRememberL10·12
A number's value is exponential in its representation size
צריך $\log n$ ביטים כדי לייצג את $n$ . לכן בכל בעיה שהקלט שלה מורכב ממספרים, הקשר בין הערך לבין גודל הייצוג הוא מעריכי — וזו המלכודת המרכזית בניתוח סיבוכיות של בעיות מספריות.
ההשוואה ל-CLIQUE: שם גם $k$ הוא מספר, אבל הגרף הוא החלק הכבד בקלט ומשלם את המחיר. ב-Subset Sum כל הקלט הוא מספרים, ואין מי שיישא את העלות.
EncodingsAsymptoticsSubset SumGraph problems
What was said on the recording (1)
- גודל של מספר הוא מעריכי בגודל העיצוג שלו
  QfE6eBttdJg @ 00:47:45
Lecture 11
DefinitionRememberL11·1
PARTITION
קלט: סדרת מספרים $a_1,\dots,a_n$ . שאלה: האם קיימת קבוצת אינדקסים $I$ שעבורה $\sum_{i\in I}a_i = \sum_{i\notin I}a_i$ ?
$\exists I\subseteq[n]:\ \sum_{i\in I}a_i = \tfrac{1}{2}\sum_{j=1}^{n}a_j$
מדובר בסדרה ולא בקבוצה של מספרים, כי ייתכנו חזרות; לכן תת-הקבוצה היא של אינדקסים. ניסוח שקול: $\sum_{i\in I}a_i$ שווה למחצית הסכום הכולל.
Subset SumNP-completeness
What was said on the recording (1)
- שווה לסכום האיברים במקומות שלא ב
  fnWzohq8Tdo @ 00:02:06
Exam guidanceRememberL11·2
Never say "draws at random"
"מגרילים" שייך לאלגוריתמים אקראיים ואין לו שום קשר לאי-דטרמיניזם. גם "מנחשים" — מקובל, אבל המרצה נמנע ממנו פדגוגית, כי סטודנטים "לוקחים את המנחשים ועושים עוד צעד קדימה" למגרילים. הניסוח הנכון: בוחרים באופן אי-דטרמיניסטי.
NondeterminismRandomizationnotationExam
What was said on the recording (1)
- אל תגיד אף פעם מגרילים
  fnWzohq8Tdo @ 00:04:14
TheoremRememberL11·3
SubsetSum ≤p PARTITION
מחשבים $\Sigma=\sum a_i$ ומפצלים לשלושה מקרים: אם $s=\Sigma/2$ — מחזירים את הסדרה כמות שהיא; אם $s>\Sigma/2$ — מוסיפים איבר $2s-\Sigma$ ; אם $s<\Sigma/2$ — מוסיפים איבר $\Sigma-2s$ .
$\langle a_1,\dots,a_n,s\rangle \mapsto \langle a_1,\dots,a_n,\ 2s-\Sigma\rangle \quad (s>\Sigma/2)$
החישוב מאחורי האיבר הנוסף: רוצים ש"הצד השני" יגיע גם הוא ל- $s$ , כלומר להוסיף $b = s - (\Sigma - s) = 2s-\Sigma$ . המספר הזה ניתן לחישוב — לא צריך את $I$ כדי לחשב אותו. זמן: ליניארי (חישוב סכום).
ReductionsSubset SumNP-completeness
What was said on the recording (1)
- פרטישן פיגשה
  fnWzohq8Tdo @ 00:06:20
- ה-ASR משבש קשות; הרדוקציה שוחזרה מהחישוב שנעשה בקול.
RuleL11·4
Prefer a reduction that stays in the same world
אפשר תמיד לצאת מ-SAT (כל בעיה NP-שלמה עובדת), אבל הבחירה הראשונה צריכה להיות בעיה קרובה: מסדרת מספרים לסדרת מספרים המשחק הוא בסכומים ובאינדקסים, וזה נוח בהרבה מקידוד נוסחה בוליאנית כמספרים.
הרדוקציות ה"יפות" הן דווקא אלה שעוברות בין עולמות — אבל כשבונים רדוקציה, מעדיפים את הקרובה.
ReductionsNP-completenessProof technique
What was said on the recording (1)
- בגלל שזה משחק באותו עולם
  fnWzohq8Tdo @ 00:29:19
DefinitionRememberL11·5
Bin Packing
קלט: מספרים $a_1,\dots,a_n \in (0,1]$ ומספר טבעי $k$ . שאלה: האם קיימת $f:[n]\to[k]$ כך שלכל תא $\ell$ מתקיים $\sum_{i:\,f(i)=\ell} a_i \le 1$ ?
$\exists f:[n]\to[k]\ \forall \ell\in[k]:\ \sum_{i:f(i)=\ell} a_i \le 1$
המידול המתמטי של "חלוקה לתאים" הוא פונקציה מאינדקסים לתאים — היכולת להפוך תיאור מילולי למידול מתמטי מדויק היא מיומנות מרכזית. שייכות ל-NP: בוחרים את $f$ באופן אי-דטרמיניסטי (או מקבלים אותה כעדות) ובודקים.
NP-completenessSubset Sum
What was said on the recording (1)
- האם ניתן לחלק
  fnWzohq8Tdo @ 00:32:36
TheoremRememberL11·6
PARTITION ≤p Bin Packing: normalize by half the sum
מגדירים $b_i = \dfrac{2a_i}{\sum_j a_j}$ ומחזירים $\langle b_1,\dots,b_n,\ 2\rangle$ . אז $\sum_i b_i = 2$ בדיוק, ולכן אפשר לחלק לשני תאים בסכום $\le 1$ אם ורק אם החלוקה היא בדיוק $1$ ו- $1$ — כלומר אם ורק אם הקלט המקורי ב-PARTITION.
$b_i = \frac{2a_i}{\sum_j a_j},\qquad \sum_i b_i = 2$
מקרה קצה שצריך לטפל בו: אם קיים $a_i > \Sigma/2$ אז הקלט בוודאות אינו ב-PARTITION, ואז מחזירים מופע קבוע שאינו ב-Bin Packing — למשל $\langle \tfrac13,\tfrac13,\tfrac13,\ 2\rangle$ בשינוי מתאים, או כל מופע שברור שאינו ניתן לאריזה.
ReductionsSubset SumNP-completeness
What was said on the recording (1)
- חצי הסכום מצוין חצי הסכום
  fnWzohq8Tdo @ 00:43:26
RuleRememberL11·7
A reduction into a sub-problem proves the sub-problem hard
אם הרדוקציה שולחת את כל המופעים לתוך תת-קבוצה מאוד ספציפית של מופעי $B$ , היא מוכיחה NP-קושי גם עבור התת-בעיה הזו. כאן: הרדוקציה תמיד מחזירה $k=2$ , ולכן Bin Packing נשארת NP-קשה גם כשמספר התאים ידוע מראש ושווה $2$ .
בדיוק כמו בחישוביות: הרדוקציה מ-HALT דרך "המקבע" שלחה הכל לקבוצה קטנה מאוד, ולכן שימשה גם ל- $\mathrm{HALT}_0$ , ל- $\mathrm{HALT}_\varepsilon$ וכו'. השוו ל-CLIQUE ו-IS, שבהן $k$ קבוע מראש כן הופך את הבעיה ל-P; ב- $k$ COL וב-Bin Packing — לא.
ReductionsNP-completeness
What was said on the recording (1)
- הרדוקציה הזאת היא רדוקציה למקרה מאוד מיוחד של הבעיה
  fnWzohq8Tdo @ 00:49:58
Proof techniqueL11·8
A two-bin partition is just a subset
אף שהגדרנו חלוקה כפונקציה, כאשר מספר התאים הוא שניים אפשר לחשוב עליה כעל תת-קבוצה של אינדקסים — ולעבוד איתה כך בהוכחה.
Proof techniqueSubset Sum
What was said on the recording (1)
- אני יכול לחשוב על חלוקה בתור תת קבוצה של האינדקסים
  fnWzohq8Tdo @ 00:57:27
PitfallRememberL11·9
A DP table of size k is not polynomial
אלגוריתם שבונה טבלה בגודל $k$ אינו פולינומי, כי $k$ מיוצג ב- $\log k$ ביטים — גודל הטבלה מעריכי בגודל הקלט. אותה מלכודת בדיוק כמו ב-Subset Sum.
EncodingsAsymptoticsSubset SumP
What was said on the recording (1)
- הגודל של הטבלה הוא מעריכי בגודל של הכלת
  fnWzohq8Tdo @ 01:05:32
DefinitionRememberL11·10
Hamiltonian path and cycle: the four variants
מסלול המילטוני עובר דרך כל קודקוד בדיוק פעם אחת; מעגל המילטוני הוא מעגל כזה (הקודקוד הפותח והסוגר הוא אותו קודקוד). מכאן ארבע בעיות: $\mathrm{DHP}$ , $\mathrm{DHC}$ , $\mathrm{UHP}$ , $\mathrm{UHC}$ (מכוון / לא מכוון $\times$ מסלול / מעגל).
יש גם וריאציה שבה מקבלים $s$ ו- $t$ ושואלים על מסלול המילטוני מ- $s$ ל- $t$ — והגרסאות שקולות. הזהירות: מיון טופולוגי פותר מסלול רק בגרף מכוון חסר מעגלים — מקרה ספציפי מאוד.
Graph problemsNP-completeness
What was said on the recording (1)
- מסלול לעובר לכל קודקוד בדיוק פעם אחת
  fnWzohq8Tdo @ 01:09:53
Proof techniqueRememberL11·11
A cycle of reductions instead of all pairs
כדי להראות שארבע בעיות שקולות פולינומית, לא צריך $12$ רדוקציות — די ברדוקציה בין כל שכנות במעגל, והטרנזיטיביות של $\le_p$ סוגרת את השאר.
$\mathrm{3SAT}\le_p\mathrm{DHP}$ היא רדוקציה "חמודה אבל מאוד טרחנית", ולכן לא מוכיחים אותה בקורס — את התוצאה צריך לדעת, את ההוכחה לא.
ReductionsGraph problemsNP-completeness
What was said on the recording (1)
- בגלל הטרנזיטיבים
  fnWzohq8Tdo @ 01:16:34
DefinitionRememberL11·12
Traveling Salesperson (TSP)
קלט: גרף מלא $G=(V,E)$ , פונקציית משקלים $w:E\to\mathbb{N}$ , ומספר $k$ . שאלה: האם קיים ב- $G$ מעגל המילטוני שמשקלו לכל היותר $k$ ?
$\exists \text{ Hamiltonian cycle } C:\ \sum_{e\in C} w(e)\le k$
בלי המשקלים השאלה טריוויאלית: בגרף מלא על יותר משלושה קודקודים תמיד יש מעגל המילטוני. משקל מעגל הוא סכום משקלי קשתותיו.
Graph problemsNP-completenessApproximation
What was said on the recording (1)
- האם קיים בG מעגל המילטוני שמשקלו לכל היותר
  fnWzohq8Tdo @ 01:19:56
TheoremRememberL11·13
UHC ≤p TSP with weights 1 and 2
מ- $G=(V,E)$ בונים את הגרף המלא $\hat G$ על $V$ , ומגדירים $w(e)=1$ אם $e\in E$ ו- $w(e)=2$ אחרת. מחזירים $\langle \hat G, w, |V|\rangle$ .
$w(e) = \begin{cases}1 & e\in E\\ 2 & e\notin E\end{cases},\qquad k=|V|$
המשקלים הטבעיים היו $0$ ו- $1$ עם $k=0$ , וזה עובד — אבל המרצה בוחר במכוון $1$ ו- $2$ , כי בהמשך תידרש תת-בעיה של TSP (משקלים חיוביים) והרדוקציה הזו תמשיך לעבוד גם עליה. זמן: $O(|V|^{2})$ — כי לא ידוע כמה קשתות היו במקור, ורק $|\hat E|\le|V|^{2}$ מובטח.
ReductionsGraph problemsNP-completenessApproximation
What was said on the recording (1)
- ניתן להם משקל אפס וכל מה שלא אחד
  fnWzohq8Tdo @ 01:27:31
- המרצה מתקן תוך כדי מ-0/1 ל-1/2 בכוונה, לצורך תת-בעיה עתידית.
PitfallRememberL11·14
Bound the runtime by the input size, not the output size
בניית הגרף המלא היא ליניארית ב- $|\hat E|$ — אבל $|\hat E|$ הוא גודל הפלט. מכיוון שלא ידוע כמה קשתות היו בקלט (אולי אחת, אולי אפס), חוסמים $|\hat E|\le|V|^{2}$ ומקבלים זמן ריבועי בגודל הקלט.
מקובל לעצור בניתוח כפונקציה של $|V|$ ו- $|E|$ , כי תמיד אפשר לתרגם משם לגודל הקלט — אבל פורמלית מה שנדרש הוא גודל הקלט.
ReductionsGraph problemsAsymptotics
What was said on the recording (1)
- אני צריך לחסום את זה בגודל הכלב
  fnWzohq8Tdo @ 01:31:45
Lecture 12
PitfallL12·1
In an optimization problem, state exactly what is wanted
"למצוא את הגודל של כיסוי מינימלי" ו"למצוא כיסוי בגודל מינימלי" הן דרישות שונות. הדרישה המדויקת חייבת להיות חלק מהגדרת הבעיה.
Approximationnotation
What was said on the recording (1)
- והדרישות צריכות להיות חלק מהבעיה
  KZcJEmx19BU @ 00:00:00
Proof techniqueRememberL12·2
The 2-approximation algorithm for Vertex Cover
$C\leftarrow\emptyset$ ; כל עוד יש קשת $e=xy$ בגרף: מוסיפים את $x$ ואת $y$ ל- $C$ , ומוחקים מהגרף את $x$ ואת $y$ (וכל הקשתות המחוברות אליהם). בסוף מחזירים $C$ .
מוחקים שני הקודקודים ולא רק את הקשת — וזה קריטי לניתוח. סדר הבחירה אינו מוגדר, ולכן הניתוח חייב להיות תקף לכל סדר.
ApproximationGraph problems
What was said on the recording (1)
- מחק מהגרף את x ואת y
  KZcJEmx19BU @ 00:01:09
Exam guidanceL12·3
"Why exactly this?" is not the right question for the course
כשרואים אלגוריתם או רדוקציה, סדר הבירור הוא: (1) איך הוא עובד — הרצה יבשה; (2) למה הוא מקיים את מה שנדרש. השאלה "איך חשבתי על זה" — לשים בצד; לפעמים זה חודשי מחקר.
בפועל, כשתידרשו לבנות משהו, זה יהיה דומה מאוד למשהו שכבר ראיתם — ולכן אין צורך להיכנס לתסכול מהשאלה הזו.
ExamProof techniqueApproximation
What was said on the recording (1)
- זה לא השאלות הנכונות כרגע
  KZcJEmx19BU @ 00:04:15
RuleRememberL12·4
A coarse analysis suffices — don't do extra work
כל מה שדרוש הוא פולינומי, ולכן לא צריך את החסם ההדוק. די לומר: כל איטרציה מוחקת לפחות קשת אחת $\Rightarrow$ מספר האיטרציות $\le|E|$ ; בכל איטרציה לכל היותר $O(|E|)$ עבודה $\Rightarrow$ סך הכל פולינומי.
"אני קצת הורס את כל מה שלימדו אתכם באלגוריתמים ומבני נתונים — אם אני לא חייב, אני לא עושה עבודות יזומות." הניתוח ההדוק ( $O(|E|)$ סך הכל) נכון וטוב, אבל מיותר כאן.
ApproximationAsymptoticsProof technique
What was said on the recording (1)
- אם אני לא חייב אני לא עושה עבודות יזומות
  KZcJEmx19BU @ 00:09:33
Proof techniqueRememberL12·5
Why C is a cover: split by how the edge was deleted
תהי $e=xy$ קשת בגרף המקורי. בסיום הריצה היא נמחקה (אחרת האלגוריתם לא היה עוצר). מקרה 1: היא הקשת שנבחרה — אז $x,y\in C$ . מקרה 2: היא נמחקה כתוצאה ממחיקת $x$ (או $y$ ) — ואז אותו קודקוד ב- $C$ . בשני המקרים לפחות קצה אחד ב- $C$ .
ApproximationGraph problemsProof technique
What was said on the recording (1)
- בסיום ריצת האלגוריתם על G הקשת E נמחקה
  KZcJEmx19BU @ 00:12:58
Proof techniqueRememberL12·6
The pattern for an approximation ratio: find a reference point
בדרך כלל אי אפשר לחשב את האופטימום ואפילו קשה לומר עליו משהו. לכן: בוחרים גודל אחר שנוח לעבוד איתו, מראים שהוא $\le$ האופטימום, ומראים שהפתרון שהוחזר $\le$ פי-2 ממנו — ומכאן $\le$ פי-2 מהאופטימום.
ApproximationProof technique
What was said on the recording (1)
- אני צריך איכשהו איזשהו point of reference
  KZcJEmx19BU @ 00:18:45
TheoremRememberL12·7
The analysis: F is a matching, hence |C| ≤ 2|OPT|
יהי $F$ אוסף הקשתות שהאלגוריתם בחר. מהמבנה, כל שתי קשתות ב- $F$ זרות (אין להן קודקוד משותף) — כלומר $F$ הוא זיווג. לכל $e\in F$ מתאימים אחד מקצותיה השייך ל- $\mathrm{OPT}$ (קיים, כי $\mathrm{OPT}$ כיסוי); ההתאמה חד-חד-ערכית בגלל הזרות, ולכן $|F|\le|\mathrm{OPT}|$ . מכיוון ש- $|C|=2|F|$ , מקבלים $|C|\le 2|\mathrm{OPT}|$ .
$|C| = 2|F| \le 2|\mathrm{OPT}|$
וזו בדיוק הסיבה שחייבים למחוק את שני הקודקודים — אחרת $F$ אינו זיווג וההתאמה אינה חד-חד-ערכית. שוב הכלל מהשיעור הראשון: אי-שוויון בין גדלי קבוצות = פונקציה חד-חד-ערכית.
ApproximationGraph problemsCombinatoricsProof technique
What was said on the recording (1)
- הקשטות בפ זרות בזוגות
  KZcJEmx19BU @ 00:24:43
PitfallRememberL12·8
Two different tightness questions
(א) האם 2 הוא היחס הטוב ביותר לבעיה? — שאלה על טבע הבעיה, פתוחה. (ב) האם ההוכחה הדוקה ביחס לאלגוריתם הזה? — שאלה שאפשר לענות עליה, והתשובה כאן: כן.
הדגמה ל-(ב): גרף שהוא זיווג מושלם ( $|V|/2$ קשתות זרות). האלגוריתם יחזיר את כל הקודקודים, בעוד שקיים כיסוי בגודל $|V|/2$ — בדיוק פי 2. הערה: אלגוריתם עם יחס 2 הוא בפרט גם אלגוריתם עם יחס 4 (אי-השוויון רק מתקל).
ApproximationGraph problems
What was said on the recording (1)
- האם ההוכחה הדוקה ביחס לאלגוריתם
  KZcJEmx19BU @ 00:31:40
RuleRememberL12·9
For a maximization problem the ratio is between 0 and 1
בבעיית מינימיזציה היחס גדול מ-1 (הפתרון גדול מדי); בבעיית מקסימיזציה היחס בין $0$ ל- $1$ — אי אפשר להחזיר יותר מהמקסימום, ורוצים שלא נחזיר הרבה פחות ממנו.
לכן החזרת פתרון טריוויאלי (למשל קודקוד יחיד ב-IS) אינה נותנת שום יחס קירוב.
Approximation
What was said on the recording (1)
- אז בבעית מקסימום היחס יהיה בין
  KZcJEmx19BU @ 00:36:24
RuleRememberL12·10
In MAX-CUT every vertex set is a feasible solution
אין שום תנאי על הקבוצה, ולכן כל קבוצת קודקודים היא פתרון אפשרי. "החתך מקסימלי" אינו חלק מהמהות אלא חלק מהאופטימיזציה — כלומר הוא הרווח, לא התנאי. לכן כל העבודה בניתוח מתמקדת ביחס הקירוב.
ApproximationGraph problems
What was said on the recording (1)
- הפתרון האפשרי זה קבוצת קודקודים
  KZcJEmx19BU @ 00:38:30
Proof techniqueRememberL12·11
The local-search algorithm for MAX-CUT
$U\leftarrow\emptyset$ ; כל עוד קיים קודקוד $v$ שהעברתו (מ- $U$ ל- $\overline U$ או להפך) מגדילה את החתך — מעבירים אותו. בסוף מחזירים $U$ .
ApproximationGraph problems
What was said on the recording (1)
- מגדילה את החתך
  KZcJEmx19BU @ 00:39:34
Proof techniqueRememberL12·12
The sense of progress: what actually advances
החשש הראשון בכל אלגוריתם לולאתי הוא שהוא לא יעצור. הכלי: לזהות מה מתקדם בכל איטרציה ולחסום את ההתקדמות. כאן — גודל החתך גדל בלפחות 1 בכל איטרציה, ואף חתך אינו מכיל יותר מ- $|E|$ קשתות, ולכן יש לכל היותר $|E|+1$ איטרציות.
קודקוד כן יכול לעבור צד ולחזור במהלך הריצה — זה לגיטימי. מה שמבטיח עצירה אינו מונוטוניות של הקודקודים אלא מונוטוניות של גודל החתך.
ApproximationProof techniqueGraph problems
What was said on the recording (1)
- מה שאני קורא לו הסנensס of prog
  KZcJEmx19BU @ 00:44:32
- ASR משבש את הביטוי "sense of progress".
Lecture 14
RuleRememberL14·1
The secretary problem admits no deterministic guarantee
לכל אלגוריתם דטרמיניסטי אפשר לבנות קלט שעליו הוא יבחר לא נכון — ואפילו יבחר מועמד גרוע מאוד. לכן דטרמיניסטית אין שום דרך להתגבר על הבעיה.
הבעיה: מראיינים $n$ מועמדים אחד-אחד; ערכו של מועמד מתגלה רק בראיון; אחרי כל ראיון חייבים להחליט מיד — מי שנדחה לא חוזר. זו "מציאת מקסימום במערך" בלי אפשרות לחזור אחורה.
RandomizationApproximation
What was said on the recording (1)
- כל אלגוריתם דטרמיניסטי אני יכול לייצר עבורו כל שבו היא תבחר לא נכון
  JGoqdWD6hnw @ 00:05:28
RuleRememberL14·2
The malicious adversary, and the order in which things are fixed
האויב מכיר את האלגוריתם שלכם ובונה את הקלט הגרוע ביותר. אבל האקראיות נבחרת אחרי כן — ולכן הוא אינו יכול להתאים את הקלט אליה. זה בדיוק מה שנותן לאלגוריתם האקראי סיכוי חיובי על כל קלט.
RandomizationProof technique
What was said on the recording (1)
- האקראיות נבחרת אחרי אני מכיר את האלגוריתם שלך כשאני בונה את הכל
  JGoqdWD6hnw @ 00:08:08
PitfallRememberL14·3
The randomness does not come from the input
הקלט הוא שרירותי — הוא מגיע מבחוץ ואיננו קובעים אותו, ובוודאי אינו "בסדר אקראי". האקראיות מגיעה רק ממה שהאלגוריתם דוגם בעצמו. "מאיפה מגיעה האקראיות" היא שאלה שחייבים לענות עליה בכל ניתוח.
RandomizationProof technique
What was said on the recording (1)
- האקראיות לא תגיע לי מהכלת
  JGoqdWD6hnw @ 00:11:18
Proof techniqueRememberL14·4
The secretary algorithm
דוגמים תמורה $\sigma$ באופן אחיד מ- $[n]$ ל- $[n]$ . לכל $j\le n/2$ : מראיינים את $\sigma(j)$ ודוחים; מסמנים ב- $V$ את הערך המקסימלי שנראה. לכל $j$ מ- $n/2+1$ ואילך: אם $v_{\sigma(j)} > V$ — מקבלים. אם הגענו לסוף — מקבלים את $\sigma(n)$ .
כל האקראיות היא בדגימת התמורה. ברגע שהתמורה נבחרה, האלגוריתם דטרמיניסטי לחלוטין. המנהלת מכניסה את המועמדים לחדר המתנה וקוראת להם בסדר אקראי — כך היא "מטשטשת" את הסדר שהאויב בנה.
RandomizationApproximation
What was said on the recording (1)
- דגום באקראי באופן אחיד תמורה
  JGoqdWD6hnw @ 00:14:29
PitfallRememberL14·5
An event must depend on the randomness, not on the input
" $v_1$ הוא המועמד הטוב ביותר" אינו מאורע אקראי — הוא תלוי בקלט ולא בתמורה, ולכן חסר משמעות לדבר על ההסתברות שלו. לעומת זאת " $\sigma(1)$ הוא הטוב ביותר" כן מאורע אקראי.
RandomizationProbabilityProof technique
What was said on the recording (1)
- לא לדבר על מאורעות שהם לא אקראיים
  JGoqdWD6hnw @ 00:20:16
Proof techniqueRememberL14·6
Bound a hard event by an event contained in it
יהי $A$ = "נמצא המועמד הטוב ביותר" ו- $B$ = "הטוב ביותר נמצא בחצי השני וגם השני-הכי-טוב בחצי הראשון". אם $B$ קורה אז $A$ קורה, כלומר $B\subseteq A$ כקבוצות של תמורות, ולכן $\Pr[A]\ge\Pr[B]$ .
$B\subseteq A \;\Rightarrow\; \Pr[A]\ge\Pr[B]$
מאורעות הם תת-קבוצות של מרחב המדגם; "אם $B$ אז $A$ " פירושו הכלה, ומכאן אי-השוויון בין ההסתברויות. את $\Pr[B]$ קל לחשב — וזה כל הרעיון.
RandomizationProbabilityProof technique
What was said on the recording (1)
- B מוכל בA
  JGoqdWD6hnw @ 00:21:48
PitfallRememberL14·7
The sample space is the experiment's outcomes, not the algorithm's
כאן מרחב המדגם הוא אוסף כל $n!$ התמורות — כי משם דוגמים. הוא אינו $[n]$ (מה שהאלגוריתם מחזיר).
אנלוגיה: בהטלת שתי קוביות מרחב המדגם הוא הזוגות הסדורים $\{(x,y): x,y\in[6]\}$ — לא אוסף הסכומים. הסכום הוא מאורע, לא תוצאה.
RandomizationProbabilityProof technique
What was said on the recording (1)
- מרחב המדגם זה אוסף כל התמורות האפשריות
  JGoqdWD6hnw @ 00:24:24
TheoremRememberL14·8
The probability of finding the best is at least 1/4
$\Pr[B] = \dfrac{(n/2)\cdot(n/2)\cdot(n-2)!}{n!} = \dfrac{n^2/4}{n(n-1)} \ge \dfrac14$ , ולכן $\Pr[A]\ge\frac14$ — לכל קלט, כולל הגרוע ביותר.
$\Pr[A] \ge \Pr[B] = \frac{(n/2)^2 (n-2)!}{n!} \ge \frac14$
הספירה: מיקום לשני-הכי-טוב בחצי הראשון ( $n/2$ אפשרויות), מיקום לטוב ביותר בחצי השני ( $n/2$ ), ושאר $(n-2)!$ הסידורים חופשיים. עם סף $n/e$ במקום $n/2$ מקבלים $1/e\approx 37\%$ , וזה אופטימלי — אבל ההוכחה מסובכת יותר.
RandomizationProbabilityCombinatorics
What was said on the recording (1)
- וזה הגדול שרג
  JGoqdWD6hnw @ 00:28:06
- ה-ASR משבש את החישוב; הספירה שוחזרה מהדיון בקול.
RuleRememberL14·9
What randomness did: it spread the risk
בניגוד לאלגוריתם הדטרמיניסטי, שעליו יש קלט שבו הוא בוודאות נכשל, הרבע כאן הוא לכל קלט — כולל הגרוע ביותר. האקראיות פיזרה את הסיכון.
RandomizationApproximation
What was said on the recording (1)
- פזרה את הסיכונים
  JGoqdWD6hnw @ 00:30:50
RuleRememberL14·10
Why randomness is the most important topic in the course
כשגם זמן ליניארי יקר מדי, בפרט אי אפשר לעבור על כל הקלט. וברגע שמסתכלים רק על חלק ממנו, אויב אכזר יכול לקלקל — ולכן חייבים לבחור את המקומות באקראי. המרצה מציין זאת כדבר החשוב ביותר לקחת מהקורס לעתיד.
RandomizationFoundations
What was said on the recording (1)
- אני בוחר מקומות באקראי שאני מסתכל בהם על הקלב
  JGoqdWD6hnw @ 00:32:24
Proof techniqueRememberL14·11
Verifying a matrix product (Freivalds)
בהינתן $A,B,C$ : בוחרים $r\in\{0,1\}^{n}$ באקראי אחיד, מחשבים $A(Br)$ ו- $Cr$ , ומקבלים אם הם שווים. זמן: $O(n^{2})$ — כי כופלים רק מטריצה בווקטור — במקום $O(n^{3})$ לחישוב $AB$ .
$(AB)r = A(Br);\qquad \text{time } O(n^{2})$
השוויון $(AB)r = A(Br)$ הוא אסוציאטיביות מאלגברה ליניארית, וזה מה שמאפשר לוותר על כפל המטריצות.
RandomizationProbability
What was said on the recording (1)
- בחר באקראי באופן אחי
  JGoqdWD6hnw @ 00:37:23
PitfallRememberL14·12
You cannot condition on a non-random event
אסור לכתוב $\Pr[\text{ALG accepts} \mid AB=C]$ — $AB=C$ אינו מאורע אקראי, אין בו שום אקראיות. החלוקה למקרים נעשית מחוץ להסתברות, כי היא תלויה בקלט ולא בהגרלה.
הניסוח הנכון: "אם $AB=C$ אז $\Pr[\text{accepting}]=1$ " ו-"אם $AB\ne C$ אז $\Pr[\text{accepting}]\le\tfrac12$ ".
RandomizationProbabilityProof technique
What was said on the recording (1)
- החלוקה למקרים תלויה בכל ולא באלגוריתם
  JGoqdWD6hnw @ 00:41:47
Proof techniqueL14·13
"WLOG" is legitimate here because the matrices are not random
אם $D=AB-C\ne 0$ אז יש בה איבר שאינו אפס; מותר להניח ללא הגבלת הכלליות ש- $d_{11}\ne0$ . זה חוקי משום שהמטריצות אינן אקראיות — ההנחה רק חוסכת גרירת שני אינדקסים לאורך ההוכחה.
RandomizationProbabilityProof technique
What was said on the recording (1)
- כי המטריצות הן לא אקראיות זה פשוט חוסך לי לגרור
  JGoqdWD6hnw @ 00:45:29
Proof techniqueRememberL14·14
Bound the failure probability from above
יש הרבה יותר כלים לחסום הסתברות מלמעלה מאשר מלמטה. לכן התבנית הסטנדרטית בניתוח אלגוריתם אקראי: חוסמים את $\Pr[\text{failure}]$ מלמעלה, ומכאן מקבלים חסם מלמטה על $\Pr[\text{success}]$ .
כאן: מראים ש- $\Pr[Dr = 0]\le\tfrac12$ כאשר $D=AB-C\ne 0$ , ולכן ההסתברות לדחות (התשובה הנכונה) היא לפחות $\tfrac12$ .
RandomizationProbabilityProof technique
What was said on the recording (1)
- יש לי הרבה יותר כלים לחסום הסתברות מלמעלה
  JGoqdWD6hnw @ 00:46:38
Lecture 15
DefinitionRememberL15·1
Probabilistic Turing machine — first definition (coin inside the machine)
מכונת טיורינג אקראית היא מכונה שבה קיימת אפשרות לעבור למצב הבא ממצב נתון על ידי בחירה אקראית — הטלת מטבע. כלומר ל‑ $\delta$ יש יותר מאפשרות אחת, והמכונה מגרילה ביניהן.
שימו לב שההגדרה מגדירה רק את המודל — לא זמן ריצה, לא מקום ולא מחלקות. בדיוק כמו שכשהגדרנו מכונות טיורינג לא דיברנו על משאבים.
RandomizationTuring machinesProbability
What was said on the recording (1)
- היא מכונה שבה יש אפשרות א לעבור למצב הבא
  bvfpVhgtfuE @ 00:04:00
DefinitionRememberL15·2
Non-deterministic model — the general notion
מודל לא דטרמיניסטי הוא כל מודל שבו הקלט אינו קובע ביחידות את הפלט. המודל האי־דטרמיניסטי הוא מקרה פרטי ספציפי אחד מתוכם, ומכונה אקראית היא מקרה פרטי אחר.
באנגלית ההבחנה קיימת גם היא: not deterministic לעומת nondeterministic. לא כל מודל לא־דטרמיניסטי הוא אי־דטרמיניסטי.
NondeterminismRandomizationnotation
What was said on the recording (1)
- מודל לא דטרמיניסטי זה כל מודל שבו הכלט לא קובע ביחידות את הפלת
  bvfpVhgtfuE @ 00:05:05
DefinitionRememberL15·3
Probabilistic Turing machine — second definition (external random tape)
מכונת טיורינג אקראית היא מכונה דו־סרטית: סרט אחד הוא סרט עבודה רגיל, והסרט השני מגיע עם מחרוזת אינסופית של ביטים שהמכונה יכולה רק לקרוא ממנה, והראש עליו זז רק ימינה.
תחשבו על הסרט השני כאינסוף הטלות מטבע שמישהו הטיל מראש. זו לא באמת מכונה דו־סרטית — היא לא כותבת שם ולא זזה שמאלה, ולכן קריאת ביט אחד לצעד לא משנה את זמן הריצה ואין צורך בסימולציה של רב־סרטית.
RandomizationTuring machinesMulti-tape machinesModel robustness
What was said on the recording (1)
- סרט שני אני מגיע עם מחרוזת אינסופית של ביטים
  bvfpVhgtfuE @ 00:07:14
RuleRememberL15·4
Which model to use: algorithm → internal coin, class relations → random tape
בהצגת תוצאה חיובית (אלגוריתם אקראי) עובדים עם המודל שבו המכונה מטילה מטבע — נוח יותר לתכנת בו. בדיון על קשר בין מחלקות עובדים עם המודל הדטרמיניסטי + סרט אקראי — כי המכונה עצמה דטרמיניסטית, והמעבר בין מודלים קל בהרבה.
כלל אצבע: אם אני לא צריך לעבור בין מודלים שונים — אפשר להשתמש במכונה האקראית. "תפוחים לתפוחים": כשמשווים מחלקות נוח שהכול דטרמיניסטי.
RandomizationComplexity classesProof techniqueExam
What was said on the recording (1)
- אז המודל הזה אני אשתמש בו כשאני ארצה להראות תוצאה חיובית
  bvfpVhgtfuE @ 00:10:57
NotationL15·5
The "random tape" is not actually random
הסרט השני נקרא סרט אקראי — אבל הוא לא באמת אקראי. הוא מגיע מבחוץ ואיני יודע איך נבחר; האקראיות נכנסת רק בניתוח, כשאני שואל: אילו $r$ היה נבחר באקראי אחיד, מה ההסתברות שאני צודק?
ברגע שקבעתי את $r$ , המכונה דטרמיניסטית לחלוטין — הפלט נקבע ביחידות על ידי הזוג $(x,r)$ .
RandomizationnotationProbability
What was said on the recording (1)
- הסרט השני נקרא סרט אקראי אבל הוא לא באמת אקראי
  bvfpVhgtfuE @ 00:11:28
PitfallRememberL15·6
Nondeterminism is not randomness — the difference is how the choice is made
באי־דטרמיניסטי המכונה בוחרת בעצמה ולא אמרנו איך — אין שם התפלגות ואין הסתברות; במכונה אקראית הבחירה נעשית בהטלת מטבע, ואני יודע איך היא נעשית גם אם לא יודע מה תהיה. אלה שני מודלים שונים לגמרי.
זו הסיבה שאף פעם לא אומרים על מכונה אי־דטרמיניסטית "תגריל" אלא "תנחש באופן אי־דטרמיניסטי" — כאן בדיוק קורות הטעויות, אז שמרו מרחק בין שני המודלים.
NondeterminismRandomizationExam
What was said on the recording (1)
- באי דטרמיניסטי המכונה בחרה בעצמה ולא אמרתי איך היא בוחרת
  bvfpVhgtfuE @ 00:13:38
DefinitionRememberL15·7
$\mathrm{BPP}_{\alpha,\beta}$ — definition via a probabilistic machine
יהיו $\alpha,\beta\in[0,1]$ . $A\in\mathrm{BPP}_{\alpha,\beta}$ אם קיימת מכונת טיורינג אקראית $M$ הרצה בזמן פולינומי בגודל הקלט, כך שלכל $x$ : אם $x\in A$ אז $\Pr[M \text{ accepts } x]\ge\alpha$ , ואם $x\notin A$ אז $\Pr[M \text{ rejects } x]\ge\beta$ .
$A\in\mathrm{BPP}_{\alpha,\beta}\iff \exists M \text{ probabilistic, poly-time}:\; x\in A\Rightarrow\Pr[M(x)=1]\ge\alpha,\quad x\notin A\Rightarrow\Pr[M(x)=0]\ge\beta$
שימו לב לאסימטריה: בענף החיובי בודקים קבלה, בענף השלילי בודקים דחייה — כלומר בשני המקרים חוסמים מלמטה את ההסתברות שהמכונה צודקת. אם $\alpha=\beta$ אפשר לסכם: "ההסתברות שהמכונה צודקת $\ge\alpha$ ".
RandomizationComplexity classesProbability
What was said on the recording (1)
- ואם x לא שייך ל אז ההסתברות שם דוחה את x גדולה שווה בטא
  bvfpVhgtfuE @ 00:19:25
DefinitionRememberL15·8
$\mathrm{BPP}_{\alpha,\beta}$ — definition via a deterministic machine plus a random string
$A\in\mathrm{BPP}_{\alpha,\beta}$ אם קיימת מכונה דטרמיניסטית $M$ הרצה בזמן פולינומי וקיים פולינום $p$ , כך שבריצתה על $x$ היא קוראת לכל היותר $p(|x|)$ ביטים מהסרט האקראי, ולכל $x$ : אם $x\in A$ אז $\Pr_{r}[M(x,r)=1]\ge\alpha$ , ואם $x\notin A$ אז $\Pr_{r}[M(x,r)=0]\ge\beta$ — כאשר ההסתברות היא על פני $r$ הנדגם אחיד מ‑ $\{0,1\}^{p(|x|)}$ .
$A\in\mathrm{BPP}_{\alpha,\beta}\iff \exists M \text{ deterministic},\ \exists p:\; x\in A\Rightarrow\Pr_{r\sim\{0,1\}^{p(|x|)}}[M(x,r)=1]\ge\alpha$
חושבים על $M$ כמכונה שמקבלת שני קלטים: את $x$ שאני שולט בו, ואת מחרוזת הביטים $r$ שמגיעה מבחוץ. ההגדרות שקולות (לא הוכחנו בקורס).
RandomizationComplexity classesProbabilityModel robustness
What was said on the recording (1)
- ההסתברות ש מקבלת את x וה גדולה שווה אלפה וההסתברות היא בעצם על r
  bvfpVhgtfuE @ 00:23:03
Exam guidanceRememberL15·9
Always ask: where does the randomness come from?
תמיד כשמחשבים הסתברות — שאלו את עצמכם מה האקראי כאן. זה הדבר הראשון לבדוק: בהגדרה הראשונה האקראיות היא של המכונה, בהגדרה השנייה האקראיות היא של הסרט $r$ בלבד.
ProbabilityRandomizationExam
What was said on the recording (1)
- תמיד כשאתם מחשבים הסתברות שאלו את עצמכם מה הקראי פה
  bvfpVhgtfuE @ 00:25:13
ClaimL15·10
Once $r$ is fixed, everything is deterministic
בהגדרה השנייה המכונה דטרמיניסטית והכול דטרמיניסטי: once קבעתי את $r$ , הריצה על $(x,r)$ קבועה לחלוטין. הדבר היחיד שמכניס אקראיות הוא הבחירה של $r$ — $x$ מגיע שרירותית מבחוץ.
לא משנה אם בוחרים את כל הסרט האינסופי או רק את $p(|x|)$ הביטים הראשונים — בשאר הביטים המכונה לא מסתכלת, ולכן הם לא משפיעים על ההסתברות.
RandomizationProbabilityConfigurations
What was said on the recording (1)
- כאן המכונה היא דטרמיניסטית. הכל דטרמיניסטי
  bvfpVhgtfuE @ 00:27:48
RuleRememberL15·11
Always lower-bound the probability that the machine is correct
זה נראה מבלבל שבצד אחד בודקים הסתברות לקבלה ובצד השני הסתברות לדחייה — אבל תזכרו: תמיד בודקים מה ההסתברות שהמכונה צודקת, ואת ההסתברות הזו רוצים לחסום מלמטה.
RandomizationProbabilityExam
What was said on the recording (1)
- תזכרו שאני תמיד בודק מה ההסתברות שהמכונה צודקת ואני רוצה את ההסתבות הזו לחסום מלמטה
  bvfpVhgtfuE @ 00:28:51
PitfallRememberL15·12
$x\in A$ and $x\notin A$ are not complementary events
אסור לחשוב על שני התנאים בהגדרה כעל מאורעות משלימים שההסתברויות שלהם מסתכמות ל‑ $1$ : $x$ אינו חלק מהניסוי האקראי. יש לי את $x$ , ואז אני דוגם את $r$ — $r$ הוא הניסוי. קלטים שונים נותנים מרחבי מדגם שונים לגמרי, ולכן זה בכלל לא אותו מרחב הסתברות.
לקלטים באורכים שונים גם הגודל של מרחב המדגם שונה, כי $p(|x|)$ שונה. "אם היום אני זורק קובייה ומחר מטיל מטבע — אין קשר."
ProbabilityRandomizationExam
What was said on the recording (1)
- כי x הוא לא חלק מהניסוי האקראי
  bvfpVhgtfuE @ 00:29:23
RuleL15·13
Why randomness is used in practice — spreading risk and avoiding bias
כשהקלטים ענקיים לא רוצים לעבור על כולם, אז מסתכלים על חלקים מהם — באקראי ולא דטרמיניסטית, כי לא רוצים הטיה (bias). האקראיות מפזרת סיכונים ומשמרת הוגנות.
דוגמאות: דגימת מדגם לאימון מודל בלמידת מכונה, סיד התחלתי לאימון, ובעיית המזכיר. שימו לב שזה בניגוד גמור לאי־דטרמיניזם שאינו ישים בשום צורה.
Randomization
What was said on the recording (1)
- אני אסתכל על חלקים ממנו באקראי. למה באקראי ולא דטרמיניסטי? כי אני לא רוצה ביס
  bvfpVhgtfuE @ 00:32:00
ClaimRememberL15·14
Monotonicity: a stronger requirement gives a smaller class
אם $\hat\alpha\ge\alpha$ ו‑ $\hat\beta\ge\beta$ אז $\mathrm{BPP}_{\hat\alpha,\hat\beta}\subseteq\mathrm{BPP}_{\alpha,\beta}$ .
$\hat\alpha\ge\alpha,\ \hat\beta\ge\beta\ \Longrightarrow\ \mathrm{BPP}_{\hat\alpha,\hat\beta}\subseteq\mathrm{BPP}_{\alpha,\beta}$
ההוכחה היא ניסוח בלבד: לוקחים את אותה מכונה $M$ , ומכיוון ש‑ $\Pr[\cdot]\ge\hat\alpha\ge\alpha$ התנאי החלש יותר מתקיים אוטומטית. אינטואיציה לזכירה: אם אני דורש יותר כדי להיכנס — הקבוצה יותר מצומצמת.
RandomizationComplexity classes
What was said on the recording (1)
- שBP אלפה כוב בט כובע מוחלת נכון
  bvfpVhgtfuE @ 00:35:18
NotationRememberL15·15
$\mathrm{BPP}$ , $\mathrm{RP}$ , $\mathrm{coRP}$ — the conventions
$\mathrm{BPP}$ ללא אינדקסים פירושו $\mathrm{BPP}_{2/3,\,2/3}$ : אם $x\in A$ ההסתברות לקבל לפחות $2/3$ , ואם $x\notin A$ ההסתברות לדחות לפחות $2/3$ . $\mathrm{RP}=\mathrm{BPP}_{1/2,\,1}$ , ו‑ $\mathrm{coRP}=\mathrm{BPP}_{1,\,1/2}$ .
$\mathrm{BPP}=\mathrm{BPP}_{2/3,2/3},\quad \mathrm{RP}=\mathrm{BPP}_{1/2,1},\quad \mathrm{coRP}=\mathrm{BPP}_{1,1/2}$
$\mathrm{BPP}$ = Bounded-error Probabilistic Polynomial time — ה‑B הוא bounded (ההסתברות לטעות חסומה משני הכיוונים), ה‑P הראשון probabilistic וה‑P השני polynomial.
RandomizationComplexity classesnotation
What was said on the recording (1)
- אם x בa ההסתברות לקבל 2/3 אם x לא בA ההסתברות לדחות שני שליש לפחות
  bvfpVhgtfuE @ 00:40:19
RuleRememberL15·16
$\mathrm{RP}$ and $\mathrm{coRP}$ — one-sided error
$\mathrm{RP}$ ו‑ $\mathrm{coRP}$ מאופיינות בטעות חד־צדדית: בכיוון אחד ההסתברות שלי להיות צודק היא $1$ — כלומר באותו כיוון המכונה לעולם אינה טועה.
$\mathrm{coRP}$ אינה "המחלקה המשלימה" של $\mathrm{RP}$ ; ראו את הפריט על co לעומת משלים. אם $A\in\mathrm{RP}$ אז $\bar A\in\mathrm{coRP}$ .
RandomizationComplexity classescoNP
What was said on the recording (1)
- בכיוון אחד ההסתברות שלי להיות צודק היא אחת
  bvfpVhgtfuE @ 00:40:58
ExampleL15·17
Verifying a matrix product is in $\mathrm{coRP}$
אלגוריתם פרייבלדס לבדיקת $AB=C$ שייך ל‑ $\mathrm{coRP}$ : אם $AB=C$ (yes-instance) האלגוריתם תמיד מחזיר "כן", ואם $AB\ne C$ הוא צודק בהסתברות לפחות $1/2$ .
כלומר הצד ה"בטוח" הוא דווקא ה‑yes-instance, ולכן זו $\mathrm{coRP}$ ולא $\mathrm{RP}$ .
RandomizationComplexity classes
What was said on the recording (1)
- אם ab היה שווה c תמיד האלגוריתם שלי החזיר כן ואם לא אז האלגוריתם צדק בהסתברות לפחות חצי
  bvfpVhgtfuE @ 00:41:30
PitfallRememberL15·18
A co-class is not the complement of the class
"co" ו"משלימה" זה לא אותו דבר. $\mathrm{coRP}$ אינה המשלימה של $\mathrm{RP}$ — היא הקבוצה של המשלימות: $\mathrm{coRP}=\{\bar A : A\in\mathrm{RP}\}$ . קיימות שפות שאינן ב‑ $\mathrm{RP}$ ואינן ב‑ $\mathrm{coRP}$ .
$\mathrm{coRP}=\{\bar A: A\in\mathrm{RP}\}\ne \overline{\mathrm{RP}}$
בדיוק כמו $\mathrm{coNP}$ לעומת $\overline{\mathrm{NP}}$ — אותה מלכודת שראינו כבר.
Complexity classescoNPRandomizationExam
What was said on the recording (1)
- תשימו לב קו ומשלימה זה לא אותו דבר
  bvfpVhgtfuE @ 00:42:34
ClaimL15·19
All complexity classes here are contained in $R$
בעיית העצירה אינה ב‑ $\mathrm{P}$ ולא ב‑ $\mathrm{coRP}$ — כי כל המחלקות שאנחנו מסתכלים עליהן מוכלות ב‑ $R$ (השפות הכריעות).
$\mathrm{P},\mathrm{NP},\mathrm{RP},\mathrm{BPP},\mathrm{PSPACE}\subseteq R$
לכן זו דוגמה מיידית לשפה שבוודאות אינה באף אחת מהמחלקות הללו.
Complexity classesHaltingFoundations
What was said on the recording (1)
- כל המחלקות האלה הן כולן חלקיות לר
  bvfpVhgtfuE @ 00:43:10
Exam guidanceRememberL15·20
Never skip the proof skeleton
אל תחמקו מהשלד של ההוכחה. יש רצון לגשת ישר לפואנטה — אבל אם לא כותבים את מסגרת ההוכחה, הולכים לאיבוד: תמצאו את עצמכם מדברים על $x$ בלי שהגדרתם $x$ .
בזמן לחץ בבחינה לא תשימו לב ולא תחזרו אחורה. כתבו קודם: "יהי $x$ … נניח $x\in A$ … אז…".
Proof techniqueExam
What was said on the recording (1)
- אם אני לא כותב את המסגרת של ההוכחה
  bvfpVhgtfuE @ 00:49:25
Proof techniqueRememberL15·21
Under a uniform distribution, probability becomes counting
כשההתפלגות אחידה, ההסתברות היא רצוי חלקי הכול, ולכן מספר הרצויים $=$ ההסתברות $\times$ מספר האפשרויות הכולל. כך עוברים מחסם הסתברותי לחסם על גודל קבוצה.
$\#\{r: M(x,r)=1\}=\Pr_r[M(x,r)=1]\cdot 2^{p(|x|)}$
לדוגמה: אם $\Pr_r[M(x,r)=1]\ge\tfrac12$ ויש $2^{p(|x|)}$ מחרוזות $r$ , אז מספר ה‑ $r$ ‑ים הטובים הוא לפחות $\tfrac12\cdot 2^{p(|x|)}=2^{p(|x|)-1}>0$ , ולכן קיים $r$ כזה.
ProbabilityCombinatoricsProof techniqueRandomization
What was said on the recording (1)
- ההסתברות היא רצוי חלקי הכל
  bvfpVhgtfuE @ 00:51:42
RuleL15·22
The random string $r$ plays the role of the witness
בהוכחת $\mathrm{RP}\subseteq\mathrm{NP}$ , ה‑ $r$ שקיומו הוכח בספירה הוא בדיוק העד (witness) של הגדרת $\mathrm{NP}$ — אותו אובייקט פולינומי שמאמת את השייכות.
זו הסיבה שנוח לעבור דרך ההגדרה עם המכונה הדטרמיניסטית: המבנה "קיים $r$ שאיתו מקבלת / לכל $r$ דוחה" זהה למבנה של $\mathrm{NP}$ .
Certificates and verifiersNPRandomizationProof technique
What was said on the recording (1)
- בעצם הR הזה זה כמו הוא תופס את התפקיד של מי
  bvfpVhgtfuE @ 00:55:00
TheoremRememberL15·23
Theorem: $\mathrm{RP}\subseteq\mathrm{NP}$
$\mathrm{RP}\subseteq\mathrm{NP}$ .
$\mathrm{RP}\subseteq\mathrm{NP}$
הוכחה: קחו $A\in\mathrm{RP}$ עם מכונה דטרמיניסטית $M$ ופולינום $p$ . אם $x\in A$ אז $\Pr_r[M(x,r)=1]\ge\tfrac12$ , ולכן מספר ה‑ $r$ ‑ים המקבלים הוא לפחות $2^{p(|x|)-1}>0$ — קיים $r$ מקבל. אם $x\notin A$ אז $\Pr_r[\text{reject}]=1$ , כלומר לכל $r$ המכונה דוחה. זו בדיוק ההגדרה של $\mathrm{NP}$ עם מכונת אימות.
RandomizationNPComplexity classesCertificates and verifiers
What was said on the recording (1)
- לכן לכל r m דוחה וזו בדיוק ההגדרה של np
  bvfpVhgtfuE @ 00:56:40
Proof techniqueRememberL15·24
Proving "for large enough $x$ " is enough — the tail is finite
אם ההוכחה עובדת רק עבור $x$ מגודל מסוים ומעלה — זה בסדר גמור: כל שאר הגדלים הם קבוצה סופית, ואפשר פשוט לצרוב אותה בתוך המכונה ("לזכור בעל פה").
כאן זה הופיע כדי להצדיק את $2^{p(|x|)-1}\ge 1$ : פולינום שואף לאינסוף, אז החל מ‑ $x$ מסוים $p(|x|)\ge 1$ .
Proof techniqueAsymptoticsExam
What was said on the recording (1)
- כי כל גודל אחר זה קבוצה סופית אני יכול פשוט לזכור אותה בעל פה
  bvfpVhgtfuE @ 00:58:16
TheoremRememberL15·25
Theorem: $\mathrm{BPP}\subseteq\mathrm{PSPACE}$
$\mathrm{BPP}\subseteq\mathrm{PSPACE}$ .
$\mathrm{BPP}\subseteq\mathrm{PSPACE}$
הוכחה: קחו מכונה דטרמיניסטית $M$ ופולינום $p$ כבהגדרה השנייה. בונים $\hat M$ שעל קלט $x$ מחשבת את $p(|x|)$ , מאתחלת $count\leftarrow 0$ , עוברת בלולאה על כל $r\in\{0,1\}^{p(|x|)}$ , מריצה $M(x,r)$ ומגדילה את המונה בכל קבלה; בסוף מקבלת אם $count\ge \tfrac23\cdot 2^{p(|x|)}$ . $\hat M$ דטרמיניסטית, מכריעה את $A$ , ורצה במקום פולינומי.
RandomizationPSPACESpace complexityComplexity classes
What was said on the recording (1)
- אז אני טוען שBP מוכל בביז
  bvfpVhgtfuE @ 01:02:50
- בתמלול נכתב "BP מוכל בביז" — הכוונה $\mathrm{BPP}\subseteq\mathrm{PSPACE}$ .
RuleRememberL15·26
Match the machine's interface to what you are proving
אני מתאים את הממשק למה שאני רוצה להוכיח. מכונה שמוכיחה שייכות ל‑ $\mathrm{PSPACE}$ חייבת לקבל רק את $x$ — ולכן היא נאלצת לעבור בלולאה על כל ה‑ $r$ ‑ים. מכונה שמוכיחה שייכות למחלקה אקראית מקבלת $x$ ו‑ $r$ .
מלכודת: אסור לשרשר את $r$ לקלט. הקלט שהתקבל מבחוץ הוא הקלט שצריך להכריע לגביו — אי אפשר לפרק אותו או להוסיף לו.
Proof techniqueComplexity classesReductionsExam
What was said on the recording (1)
- אני מתאים את הממשק למה שאני רוצה להוכיח
  bvfpVhgtfuE @ 01:05:36
RuleRememberL15·27
Space is reused across iterations — time is not
זה בדיוק ההבדל בין זמן למקום: בזמן צריך להכפיל את העלות במספר האיטרציות, אבל אם כל האיטרציות משתמשות באותו מקום — המקום הכולל הוא רק המקום של איטרציה אחת.
לכן לולאה על $2^{p(|x|)}$ ערכים היא מעריכית בזמן אבל פולינומית במקום — וזה מה שנותן $\mathrm{BPP}\subseteq\mathrm{PSPACE}$ ולא $\mathrm{BPP}\subseteq\mathrm{P}$ . (האם $\mathrm{BPP}\subseteq\mathrm{P}$ — בעיה פתוחה.)
Space complexityTime vs spacePSPACEProof technique
What was said on the recording (1)
- אם כל שתי איטרציות משתמשות באותו מקום אין בעיה אז המקום הוא רק המקום של איטרציה אחת
  bvfpVhgtfuE @ 01:11:32
Proof techniqueRememberL15·28
Keep the counter in binary, not unary — to stay in polynomial space
מונה שרץ עד $2^{p(|x|)}$ נכתב בבינרי ולא באונרי: בבינרי הייצוג באורך $p(|x|)$ בלבד, והגדלה/הקטנה באחת נעשות במקום. באונרי הוא היה תופס מקום מעריכי.
אותו טריק שכבר השתמשנו בו במשפט ההיררכיה. כלל: מתי כותבים באונרי ומתי בבינרי — לפי מה שנוח; אם יש מספיק מקום, באונרי יותר קל לעבוד.
Space complexityEncodingsHierarchy theoremsProof technique
What was said on the recording (1)
- בעצם את המספר הזה אני כותב בבינרי ולא בהונרי
  bvfpVhgtfuE @ 01:13:03
ClaimRememberL15·29
Polynomials are closed under sum, product and composition
סגירות הפולינומים לסכום, לכפל ולהרכבה — בזה משתמשים מאוד חזק לאורך כל הקורס: אם $|r|$ פולינומי ב‑ $|x|$ אז $|(x,r)|$ פולינומי ב‑ $|x|$ , ולכן גם זמן/מקום פולינומיים בזוג הם פולינומיים ב‑ $|x|$ .
$p,q\in\text{poly}\Rightarrow p+q,\ p\cdot q,\ p\circ q\in\text{poly}$
לעומת זאת הפונקציות המעריכיות אינן סגורות להרכבה: $2^{2^{|x|}}$ אינו מהצורה $2^{\text{poly}(|x|)}$ .
AsymptoticsFoundationsProof technique
What was said on the recording (1)
- סגירות של הפולינומים לסכום לכפל
  bvfpVhgtfuE @ 01:19:09
PitfallL15·30
Exponential functions are not closed under composition
שימו לב מה לא קורה: הפונקציות ב‑ $\mathrm{EXP}$ אינן סגורות להרכבה — $2^{2^{x}}$ אינו כמו $2^{\text{poly}(x)}$ .
AsymptoticsComplexity classesExam
What was said on the recording (1)
- הפונקציות בקספ לא סגורות להרכבה למשל
  bvfpVhgtfuE @ 01:19:41
ClaimRememberL15·31
For a fixed $x$ , accept and reject are complementary
ברגע שקבעתי את $x$ , המאורעות " $M$ מקבלת את $(x,r)$ " ו־" $M$ דוחה את $(x,r)$ " תלויים רק ב‑ $r$ , ולכן על אותו $x$ הם כן משלימים מבחינת הסתברות: $\Pr_r[\text{reject}]=1-\Pr_r[\text{accept}]$ .
$\Pr_{r}[M(x,r)=0]=1-\Pr_{r}[M(x,r)=1]$
זו הנקודה שמאפשרת לעבור מ־ $\Pr[\text{accept}]\ge\tfrac12$ ל־ $\Pr[\text{reject}]\le\tfrac12$ באמצע הוכחה. הבלבול נוצר רק כשמשווים בין קלטים שונים.
ProbabilityRandomization
What was said on the recording (1)
- אז על אותו x המאוראות כן משלימים מבחינת הסתברות
  bvfpVhgtfuE @ 01:24:25
Exam guidanceL15·32
Can't recall a rule? Test it on a simple special case
אם אתה לא זוכר — תמיד חשוב על המקרה הספציפי. קח מקרה פשוט, למשל שוויון במקום אי־שוויון, וראה מה יוצא. זו דרך לשכנע את עצמך תוך כדי מבחן.
ExamProof technique
What was said on the recording (1)
- אם אתה לא זוכר תמיד תלך תחשוב על המקרה הספציפי
  bvfpVhgtfuE @ 01:26:31
PitfallRememberL15·33
Logical negation is not set complementation
ההבדל בין שלילה לוגית לבין השלמה של קבוצה חייב להיות ברור. במעבר בין מאורעות משלימים אי־שוויון חלש נשאר חלש: מ‑ $\Pr[\text{accept}]\le\tfrac13$ מקבלים $count\le\tfrac13\cdot 2^{p}$ . אבל כשמפעילים שלילה על תנאי המכונה " $count\ge\tfrac23\cdot 2^{p}$ " מקבלים אי־שוויון חזק: $count<\tfrac23\cdot 2^{p}$ .
טכניקה לזכירה: אם אינך זוכר — בדוק את מקרה השוויון. אם $a\ge b$ ובמקרה הקיצון $a=b$ , אז המשלים מקיים $\le$ ולא $<$ .
Proof techniqueQuantifiersProbabilityExam
What was said on the recording (1)
- אז ההבדל בין שלילה לוגית להשלמה של קבוצה צריך להיות ברור לכולם
  bvfpVhgtfuE @ 01:27:35
TheoremRememberL15·34
Amplification theorem for $\mathrm{RP}$
לכל פולינום $Q$ : $\mathrm{RP}=\mathrm{BPP}_{1-\frac{1}{2^{Q(n)}},\,1}$ .
$\forall Q\in\text{poly}:\ \mathrm{RP}=\mathrm{BPP}_{1-2^{-Q(n)},\,1}$
כלומר את הסתברות ההצלחה בצד ה‑yes אפשר להגביר מ‑ $\tfrac12$ לכמעט $1$ בזמן פולינומי; הצד השני נשאר $1$ (טעות חד־צדדית). הכלה אחת נובעת ממשפט המונוטוניות; הכיוון השני מוכח בבניית מכונה שמריצה את $M$ מספר $Q(|x|)$ פעמים באופן בלתי תלוי.
RandomizationComplexity classesProbability
What was said on the recording (1)
- לכל פולינום Q RP שווה לBP של 1 - 1 ח 2Q
  bvfpVhgtfuE @ 01:31:42
Exam guidanceL15·35
How to recall which inclusion holds — by strictness of the requirement
אל תשננו את כיוון ההכלה — שחזרו אותו: אם הדרישה כאן חמורה יותר, אז הקבוצה יותר מצומצמת, ולכן היא זו שמוכלת בשנייה.
ExamComplexity classesProof technique
What was said on the recording (1)
- אם אני דורש יותר כדי להיכנס אז הקבוצה הזו יותר מצומצמת
  bvfpVhgtfuE @ 01:34:25
Proof techniqueRememberL15·36
One-sided amplification needs no counter
כשהטעות חד־צדדית אין צורך במונה: אם ב‑ $\mathrm{RP}$ המכונה קיבלה ולו פעם אחת — הקלט חייב להיות yes-instance, ולכן מקבלים מיד. דוחים רק אם כל $Q(|x|)$ ההרצות דחו.
הנימוק: אם הקלט הוא no-instance המכונה בוודאות דוחה, ולכן קבלה כלשהי היא ראיה מכריעה — זו הגרירה בכיוון ההפוך.
RandomizationProof techniqueProbability
What was said on the recording (1)
- אם היא קיבלה פעם אחת אני יודע ברגע שהיא מקבלת אני יודע שזה חייב להיות
  bvfpVhgtfuE @ 01:42:03
PitfallRememberL15·37
Independence needs disjoint strings — "different" is not enough
כדי להריץ $Q(|x|)$ הרצות בלתי תלויות צריך לחלק את $r$ ל‑ $Q(|x|)$ מחרוזות זרות לחלוטין, כל אחת באורך $p(|x|)$ — ולכן $|r|=p(|x|)\cdot Q(|x|)$ . שונות זה לא מספיק: אם מזיזים ביט אחד בכל פעם יש המון תלות בין המחרוזות ואי אפשר לכפול הסתברויות.
$|r| = p(|x|)\cdot Q(|x|),\qquad \Pr\Big[\bigwedge_{j=1}^{Q(|x|)} M(x,r_j)=0\Big]\le 2^{-Q(|x|)}$
רק כשהבלוקים זרים מתקיים $\Pr[\forall j\ M(x,r_j)=0]=\prod_j \Pr[M(x,r_j)=0]\le (\tfrac12)^{Q(|x|)}$ .
ProbabilityRandomizationProof techniqueExam
What was said on the recording (1)
- אם אני כל פעם זז ביט אחד יש המון תלות בין המחרוזות
  bvfpVhgtfuE @ 01:43:05
RuleRememberL15·38
Three different polynomials — generally unrelated
בכל טענה על מחלקה אקראית מעורבים שלושה פולינומים: (1) זמן הריצה, (2) מספר הביטים האקראיים שנקראים, (3) הפולינום שבתוך ההסתברות. באופן כללי אין ביניהם שום קשר — הדבר היחיד הידוע הוא שמספר הביטים האקראיים אינו יכול לעלות על זמן הריצה (קריאת ביט עולה צעד).
רמז לבחינה: אם בשאלה כתוב אותו $p(|x|)$ גם באורך המחרוזת וגם בהסתברות — זו לא הטענה שהוכחנו, ויש לשים לב לכך. בהוכחת ההגברה למשל אורך המחרוזת קפץ מ‑ $p$ ל‑ $p\cdot Q$ בעוד הפולינום בהסתברות הוא $Q$ בלבד.
RandomizationProbabilityExamAsymptotics
What was said on the recording (1)
- יש לי כאן שלושה פולינומים אחד זה זמן הריצה
  bvfpVhgtfuE @ 01:57:28
ClaimL15·39
The number of random bits is bounded by the running time
הדבר היחיד שידוע בוודאות הוא שמספר הביטים האקראיים שהמכונה קוראת אינו יכול להיות גדול מזמן הריצה שלה — כי קריאת ביט עולה צעד. כל קשר אחר בין הפולינומים אינו ידוע.
$\#\text{random bits} \le T(n)$
RandomizationTimeAsymptotics
What was said on the recording (1)
- הדבר היחיד שאני יודע זה שמשפר הביטים האקראים שאני קורא לא יכול להיות יותר גדול מהזמן שלי
  bvfpVhgtfuE @ 01:57:59
TheoremRememberL15·40
Amplifying a negligible probability — $\mathrm{RP}=\mathrm{BPP}_{1/Q(n),\,1}$
לכל פולינום $Q$ : $\mathrm{RP}=\mathrm{BPP}_{\frac{1}{Q(n)},\,1}$ — טענה אנטי־אינטואיטיבית: אפשר לקחת הסתברות הצלחה זניחה, השואפת ל‑ $0$ , ולהפוך אותה להסתברות השואפת ל‑ $1$ — בזמן פולינומי.
$\forall Q\in\text{poly}:\ \mathrm{RP}=\mathrm{BPP}_{1/Q(n),\,1}$
זמן הריצה הפולינומי הוא הדבר החשוב כאן; בלעדיו אפשר תמיד לעבור על כל האפשרויות ולהפוך את התשובה לוודאית. ההוכחה ניתנה בשיעור הבא.
RandomizationComplexity classesProbability
What was said on the recording (1)
- בעצם אני לוקח הסתברות הפסית, הסתברות זניחה
  bvfpVhgtfuE @ 02:02:20
- בתמלול "הסתברות הפסית" — כנראה "אפסית".
Lecture 16
RuleL16·1
Amplification has a price — but the classes are still equal
הגברת הסתברות היא לא קסם: משלמים בזמן ריצה גדול יותר ובמספר ביטים אקראיים גדול יותר. המחלקות בכל זאת שוות, כי הפולינומים סגורים לחיבור, כפל והרכבה — הרזולוציה שבה אנחנו מסתכלים היא פולינומית, ולכן לא אכפת לי אם $n^2$ הפך ל‑ $n^{50}$ .
"זו אותה מחלקה, אני מקבל בדיוק את אותן בעיות — זה לא אותו אלגוריתם."
RandomizationComplexity classesAsymptotics
What was said on the recording (1)
- זאת אומרת מה שמתחבה פה זה הסגירות של הפולינומים לחיבור כפל הרכבה
  F079JsP2lvs @ 00:01:35
RuleRememberL16·2
Two-sided error needs probability strictly above one half
בטעות דו־צדדית לא מספיק $\tfrac12$ : צריך גדול ממש מחצי — לפחות $\tfrac12+\frac{1}{\text{poly}(n)}$ . הסתברות הצלחה $\tfrac12$ בדיוק היא חסרת ערך.
$\tfrac12+\tfrac{1}{Q(n)}$
למה חסרת ערך? כי במקום להריץ אלגוריתם אפשר פשוט להטיל מטבע: עץ → החזר true, פלי → החזר false. גם זו טעות דו־צדדית בהסתברות הצלחה $\tfrac12$ .
RandomizationProbabilityComplexity classesExam
What was said on the recording (1)
- זאת אומרת אני צריך גדול ממש מחצי
  F079JsP2lvs @ 00:03:42
ClaimL16·3
$1/2^{Q(n)}$ under two-sided error cannot be amplified
אם ההסתברות הייתה $\frac{1}{2^{Q(n)}}$ (ולא $\frac{1}{Q(n)}$ ) — כבר אין מה לעשות; לא ידוע להוכיח שהמחלקה שווה ל‑ $\mathrm{RP}$ .
$\frac{1}{2^{Q(n)}}$ קטן בהרבה מ‑ $\frac{1}{Q(n)}$ , ולכן הדרישה חלשה מכדי שהגברה פולינומית תספיק.
RandomizationComplexity classesProbability
What was said on the recording (1)
- גם פה אם הטברות הייתה 1 חלקי ש בחזקת פוליינו כבר אין לי מה לעשות
  F079JsP2lvs @ 00:04:15
ExampleL16·4
Why probability one half is worthless — just toss a coin
אם כל מה שאני יכול להבטיח הוא הסתברות הצלחה $\tfrac12$ בטעות דו־צדדית — אני לא צריך אלגוריתם בשביל זה: אטיל מטבע ואחזיר true/false בהתאם.
RandomizationProbability
What was said on the recording (1)
- אני פשוט במקום להריץ אלגוריתם אם כל מה שאני רוצה זה הסתברות חצי מה אני יכול לעשות להטיל מטבע
  F079JsP2lvs @ 00:05:18
RuleRememberL16·5
Don't switch models mid-proof
משתדלים לא לעבור מודל באמצע ההוכחה: אם התחלתי עם מכונה אקראית — אמשיך עם מכונה אקראית. אם צריך מודל אחר — משנים את ההתחלה, לא את האמצע.
בהוכחה זו נוח לעבוד עם המודל האקראי, ואז ה‑ $r$ מוחבא ולא מופיע מפורשות. זה עדיין חוקי ונכון לגמרי.
Proof techniqueRandomizationModel robustnessExam
What was said on the recording (1)
- ההוכחה מתוכננת ככה שאני משתדל לא לעבור מודל באמצע
  F079JsP2lvs @ 00:14:24
Exam guidanceL16·6
Don't hide the computation of $Q(|x|)$ — it is a step
כדי להריץ את $M$ מספר $Q(|x|)$ פעמים, צריך לחשב את $Q(|x|)$ . זהו שלב מפורש במכונה שאסור להחביא, ויש להתייחס אליו גם בניתוח זמן הריצה.
ExamProof techniqueRandomization
What was said on the recording (1)
- כי כדי להריץ אותq של X פעמים
  F079JsP2lvs @ 00:16:32
Exam guidanceRememberL16·7
Pick a parameter, keep going, fix it later
אתם לא יכולים לראות איך זה ייגמר ברגע תחילת השאלה — אל תצפו לזה ואל תכוונו לזה. בחרו מספר (או שימו $t$ באדום), המשיכו לנתח, וחזרו לקבוע אותו בסוף.
אחרת מסתכלים על השאלה, השאלה מסתכלת בחזרה, וחצי מהמבחן עבר.
ExamProof technique
What was said on the recording (1)
- אתם לא יכולים לראות איך זה יגמר במעמד תחילת השאלה
  F079JsP2lvs @ 00:18:07
Exam guidanceRememberL16·8
Draw the confusion table — never do it from memory
כשעובדים עם false positive / false negative — תמיד לרשום את הטבלה: בשורות הקלט האמיתי (yes-instance / no-instance), בעמודות תשובת האלגוריתם (קבל / דחה). "אני אף פעם לא עושה את זה מהראש, כי גם אני מתבלבל בזה."
הכניסה "קלט yes-instance, האלגוריתם דחה" היא false negative; "קלט no-instance, האלגוריתם קיבל" היא false positive.
ExamRandomizationnotation
What was said on the recording (1)
- ולכן אני תמיד רושם לעצמי את זה ותמיד אני חוזר לזה
  F079JsP2lvs @ 00:20:46
DefinitionRememberL16·9
One-sided error: no false positives, so a "yes" is certain
ב‑ $\mathrm{RP}$ אין false positive: אם המכונה החזירה "כן" — הקלט בוודאות yes-instance, ואפשר להאמין לתשובה. הטעות היחידה האפשרית היא false negative (הקלט yes והמכונה החזירה "לא"). ב‑ $\mathrm{coRP}$ הכיוון הפוך.
ההגדרה מנוסחת מכיוון הקלט ("אם $x\notin A$ אז דוחה בהסתברות $1$ "), והמסקנה היא מהכיוון ההפוך ("אם קיבלה — $x\in A$ "), ולכן זה מבלבל.
RandomizationComplexity classesExam
What was said on the recording (1)
- אם אין לי fse poיטיב זה אומר שאם קיבלתי כן אני יודע שזה כן
  F079JsP2lvs @ 00:22:21
TheoremRememberL16·10
Theorem: $\mathrm{RP}=\mathrm{BPP}_{1/Q(n),1}$ for every polynomial $Q$
לכל פולינום $Q$ : $\mathrm{RP}=\mathrm{BPP}_{\frac{1}{Q(n)},\,1}$ . אפשר להגביר הסתברות הצלחה זניחה ( $1/\text{poly}$ ) לכדי $\tfrac12$ — ומשם, לפי המשפט הקודם, לכדי $1-2^{-\text{poly}}$ — הכול בזמן פולינומי.
$\forall Q\in\text{poly}:\ \mathrm{RP}=\mathrm{BPP}_{1/Q(n),\,1}$
בנייה: $\hat M$ על קלט $x$ מחשבת את $Q(|x|)$ , מריצה את $M$ באופן בלתי תלוי $Q(|x|)$ פעמים, ומקבלת אם ורק אם $M$ קיבלה לפחות פעם אחת. ההוכחה משתמשת חזק בטעות החד־צדדית.
RandomizationComplexity classesProbability
What was said on the recording (1)
- אם כובע תקבל אם ורק אם M קיבלה לפחות פעם אחת
  F079JsP2lvs @ 00:22:52
Proof techniqueL16·11
Check what the proof actually depends on
אחרי שכותבים הוכחה, שאלו: אם אשנה את הפרמטר, מה צריך להשתנות? כאן — ההוכחה תעבוד כל עוד מספר ההרצות הוא פולינומי ב‑ $|x|$ , ולכן את ניתוח זמן הריצה לא צריך לגעת בו שוב.
$Q(|x|)^2$ , $2Q(|x|)$ או $Q(|x|)+3$ — הכול יעבוד באותה מידה.
Proof techniqueExamAsymptotics
What was said on the recording (1)
- זאת אומרת גם אם אני אשנה אותו אם אני אשנה אותו לפולינומי בx אני יודע ששמה אני לא צריך לגעת
  F079JsP2lvs @ 00:26:34
Exam guidanceRememberL16·12
With a probabilistic machine, always state the probability
גם כשהתשובה ודאית, עדיף תמיד להגיד באיזו הסתברות: " $M$ דוחה בהסתברות $1$ ", ולא סתם " $M$ דוחה". ולנסח $\ge$ ולא $=$ — מתאימים את עצמנו לתבנית ההגדרה ולא מתווכחים איתה.
ExamRandomizationProbabilitynotation
What was said on the recording (1)
- מכיוון שהמכונה היקראית עדיף תמיד להגיד באיזה הסתבות
  F079JsP2lvs @ 00:28:42
PitfallL16·13
Split into cases by the input, not by the randomness
אי אפשר להפריד למקרים לפי האקראיות — הריצות כבר כוללות את האקראיות בתוכן. ההפרדה למקרים היא תמיד לפי $x$ ( $x\in A$ מול $x\notin A$ ).
ProbabilityRandomizationProof techniqueExam
What was said on the recording (1)
- אני לא יכול להפריד למקרים לפי הקראיות
  F079JsP2lvs @ 00:29:47
DefinitionRememberL16·14
Independence: $\Pr[X\cap Y]=\Pr[X]\Pr[Y]$
שני מאורעות $X,Y$ הם בלתי תלויים כאשר $\Pr[X\cap Y]=\Pr[X]\cdot\Pr[Y]$ — כלומר ההסתברות של "וגם" היא מכפלת ההסתברויות.
$\Pr[X\cap Y]=\Pr[X]\cdot\Pr[Y]$
זו ההגדרה שמשמשת בפועל בהוכחות; הניסוח $\Pr[X\mid Y]=\Pr[X]$ שקול אך פחות נוח.
ProbabilityFoundations
What was said on the recording (1)
- אז שני מאורות הם בלתי תלויים כשההסתברות שx וגם y שווה
  F079JsP2lvs @ 00:31:18
PitfallRememberL16·15
Disjoint events are in fact highly dependent
זרים $\ne$ בלתי תלויים — אפילו הפוך. אם $X,Y$ זרים ובעלי הסתברות חיובית, אז $\Pr[X\cap Y]=0\ne\Pr[X]\Pr[Y]$ , ולכן הם תלויים. אינטואיטיבית: אם אחד קרה, אני יודע בוודאות שהשני לא יקרה.
$X\cap Y=\emptyset,\ \Pr[X],\Pr[Y]>0\ \Longrightarrow\ X,Y \text{ dependent}$
"זרים" מדבר על חיתוך ריק; "בלתי תלויים" מדבר על מכפלת הסתברויות. אין ביניהם קשר.
ProbabilityExam
What was said on the recording (1)
- מאורות זרים הם בדרך כלל מאוד מאוד תלויים
  F079JsP2lvs @ 00:31:50
Proof techniqueRememberL16·16
A quantifier over a finite set becomes OR / AND
בקבוצה סופית אין צורך בכמתים: $\exists$ מתורגם ל‑"או" ו** $\forall$ מתורגם ל‑"וגם"**. "קיים מספר בין $1$ ל‑ $10$ שמקיים $P$ " $=$ " $1$ מקיים או $2$ מקיים או …".
$\exists i\in[k]:P(i)\equiv \bigvee_{i=1}^{k}P(i),\qquad \forall i\in[k]:P(i)\equiv \bigwedge_{i=1}^{k}P(i)$
זה בדיוק מה שעשינו בבעיית שמונה המלכות ובמשפט קוק. באלגוריתמים אמיתיים מספר האיטרציות סופי, ולכן אף פעם לא באמת צריך כמתים.
QuantifiersProof techniqueProbabilityCook-Levin
What was said on the recording (1)
- אם אני רוצה קיים אני תמיד מתרגם את זה בקבוצה סופית לאור
  F079JsP2lvs @ 00:34:27
Proof techniqueRememberL16·17
Pass to the complementary event to get an AND
" $\hat M$ מקבלת" $=$ "קיימת ריצה שקיבלה" $=$ "או" — לא נוח. לכן עוברים למשלים: " $\hat M$ דוחה" $=$ "כל ההרצות דחו" $=$ "וגם" — ורק אז מפעילים אי־תלות ומכפילים הסתברויות.
$\Pr[\hat M \text{ rejects}]=\prod_{j=1}^{Q(|x|)}\Pr[M \text{ rejects at iteration } j]$
בסוף חוזרים חזרה: חוסמים מלמעלה את הסתברות הדחייה, כדי לחסום מלמטה את הסתברות הקבלה.
ProbabilityProof techniqueRandomization
What was said on the recording (1)
- כי ההסתברות שהמכונה תדחה זה להגיד כל הארצות דחו
  F079JsP2lvs @ 00:35:00
ClaimL16·18
Complement bound: $\Pr[B]\ge\alpha \Rightarrow \Pr[\bar B]\le 1-\alpha$
אם $\Pr[B]\ge\alpha$ אז $\Pr[\bar B]\le 1-\alpha$ — הכיוון של האי־שוויון מתהפך כי ההסתברויות משלימות ל‑ $1$ .
$\Pr[B]\ge\alpha\ \Longrightarrow\ \Pr[\bar B]\le 1-\alpha$
טכניקת בקרה: אני רוצה לחסום מלמעלה את הסתברות הדחייה, כדי לחסום מלמטה את הסתברות הקבלה. בכל מעבר כזה בדקו שכיוון החסם עדיין משרת את המטרה.
ProbabilityProof technique
What was said on the recording (1)
- אם ההסתברות של b גדולה שווה אלפה ההסתברות של משלים קטן שווה 1
  F079JsP2lvs @ 00:38:39
ClaimRememberL16·19
The inequality $1+x\le e^{x}$
לכל $x\in\mathbb{R}$ : $1+x\le e^{x}$ . מכאן $\left(1-\frac{1}{Q(|x|)}\right)^{Q(|x|)}\le \left(e^{-1/Q(|x|)}\right)^{Q(|x|)}=\frac1e<\frac12$ — כי $e>2$ .
$1+x\le e^{x}\quad\Longrightarrow\quad \Big(1-\tfrac{1}{Q}\Big)^{Q}\le \tfrac1e<\tfrac12$
זהו הצעד המרכזי בהוכחת $\mathrm{RP}=\mathrm{BPP}_{1/Q,1}$ : הסתברות הדחייה של $\hat M$ קטנה מ‑ $\tfrac12$ , ולכן הסתברות הקבלה גדולה מ‑ $\tfrac12$ .
ProbabilityAsymptoticsProof techniqueRandomization
What was said on the recording (1)
- לכל x וr 1+ x קטן שווה e בx
  F079JsP2lvs @ 00:39:50
RuleL16·20
"Kinetic friction is always lower than static friction"
לבחור ולהמשיך קדימה — זה הדבר החשוב. "מקדם חיכוך קינטי תמיד יותר קטן ממקדם חיכוך סטטי": להתקדם, להיות בתנועה, לא להיתקע.
ExamProof technique
What was said on the recording (1)
- מקדם חיכוך קינטי תמיד יותר קטן ממקדם חיכוך סטטי
  F079JsP2lvs @ 00:41:26
TheoremRememberL16·21
Two-sided amplification: $\mathrm{BPP}=\mathrm{BPP}_{1-2^{-Q(n)},1-2^{-Q(n)}}$
לכל פולינום $Q$ : $\mathrm{BPP}=\mathrm{BPP}_{1-\frac{1}{2^{Q(n)}},\,1-\frac{1}{2^{Q(n)}}}$ . אפשר לרדת מ‑ $2/3$ לטעות כמעט זניחה בשני הצדדים.
$\forall Q\in\text{poly}:\ \mathrm{BPP}=\mathrm{BPP}_{1-2^{-Q(n)},\,1-2^{-Q(n)}}$
המרצה אמר במפורש: את הטענה הזו לא נוכיח, אבל אתם צריכים לדעת אותה, לדעת להשתמש בה ולדעת שהיא נכונה. בניגוד לטעות חד־צדדית, כאן אי אפשר להתחיל מהסתברות זניחה — היא צריכה להיות "זניחה מעל חצי".
RandomizationComplexity classesProbabilityExam
What was said on the recording (1)
- אז הטענה המרכזית היא זו אני לא אוכיח אותה אתם צריכים לדעת אותה אתם צריכים להשתמש בה
  F079JsP2lvs @ 00:47:39
RuleRememberL16·22
"Negligible above one half" — the two-sided requirement
בטעות דו־צדדית אי אפשר להסתפק בטעות זניחה לגמרי: ההסתברות צריכה להיות זניחה מעל חצי — כלומר $\tfrac12+\frac{1}{\text{poly}}$ בשני הצדדים. אם יש קצת יותר מחצי בשני הצדדים — אני בסדר.
RandomizationProbabilityComplexity classes
What was said on the recording (1)
- היא צריכה להיות זניחה מעל חצי
  F079JsP2lvs @ 00:48:45
Proof techniqueRememberL16·23
You may always lower both probabilities to the smaller one
אם נתון $\mathrm{BPP}_{2/3,\,9/10}$ — אפשר תמיד לומר שזה מוכל ב‑ $\mathrm{BPP}_{2/3,\,2/3}$ : קחו את ההסתברות הקטנה יותר, וזה תמיד עובד. כך משווים בין הצדדים לפני שממשיכים.
$\mathrm{BPP}_{\alpha,\beta}\subseteq \mathrm{BPP}_{\min(\alpha,\beta),\,\min(\alpha,\beta)}$
זה שימוש ישיר במונוטוניות המחלקה, ומאפשר להניח בלי הגבלת הכלליות שני צדדים סימטריים.
RandomizationComplexity classesProof techniqueExam
What was said on the recording (1)
- קחי את ההסתברות הקטנה יותר ואת תמיד מקבלת
  F079JsP2lvs @ 00:48:45
Proof techniqueRememberL16·24
Two-sided amplification — majority vote
בטעות דו־צדדית אין תשובה שאפשר לבטוח בה, ולכן במקום "קיבלה פעם אחת" עושים הצבעה: מריצים מספר קבוע של פעמים באופן בלתי תלוי, סופרים כמה true וכמה false, ומחזירים את התשובה שחזרה יותר פעמים.
מריצים מספר אי־זוגי של פעמים כדי שתמיד יהיה רוב ולא צריך לשבור תיקו.
RandomizationProbabilityProof technique
What was said on the recording (1)
- אם יש לי טרופז שבע הצבעות תמיד יש מישהו שמקבל רוב
  F079JsP2lvs @ 00:50:26
- בתמלול נשמע "זוגי", אך מהדוגמה (שבע הרצות) ברור שהכוונה אי־זוגי.
Exam guidanceRememberL16·25
Scope: know the claim and use it — don't reproduce the computation
"אתם צריכים לדעת את הטענה, אתם צריכים לדעת להשתמש בה, ואתם צריכים לדעת שהיא נכונה." את דוגמת החישוב צריך להכיר — אבל לא צריך לייצר אותה בעצמכם תחת לחץ זמן.
אלה "גבולות העזרה" שהמרצה הגדיר לגבי משפט ההגברה הדו־צדדי.
ExamRandomization
What was said on the recording (1)
- אתם צריכים לדעת אותה, אבל זה לא משהו שאתם צריכים עכשיו לייצר בעצמכם תחת לחץ זמן
  F079JsP2lvs @ 00:51:28
RuleL16·26
Under two-sided error the two cases are symmetric
היתרון בטעות דו־צדדית: המקרים סימטריים. אם הוכחתי את החסם עבור $x\in A$ , המקרה $x\notin A$ נובע "באופן דומה" בדיוק.
Proof techniqueRandomizationExam
What was said on the recording (1)
- היתרון בטעות הדות צדדית זה שהמקרים הם סימטרי
  F079JsP2lvs @ 00:57:33
RuleRememberL16·27
Independence pairs with AND; disjointness pairs with OR
תזכרו: אי־תלות הולכת טוב עם "וגם", ומאורעות זרים הולכים טוב עם "או". אי־תלות נותנת $\Pr[\bigcap]=\prod\Pr$ ; זרות נותנת $\Pr[\bigcup]=\sum\Pr$ .
$\Pr\Big[\bigcap_i E_i\Big]=\prod_i\Pr[E_i]\ \text{(independent)},\qquad \Pr\Big[\bigcup_i E_i\Big]=\sum_i\Pr[E_i]\ \text{(disjoint)}$
לכן, אם המבנה שיש לי הוא "או" ואני רוצה לנצל אי־תלות — אעבור למאורע המשלים כדי לקבל "וגם".
ProbabilityProof techniqueExam
What was said on the recording (1)
- תזכרו אתלות הולך טוב עם וגם מאוראות זרים הולך טוב עם או
  F079JsP2lvs @ 00:59:13
Proof techniqueRememberL16·28
Binomial from first principles — choose positions, then multiply
$\Pr[\text{exactly } k \text{ successes out of } n]=\binom{n}{k}p^{k}(1-p)^{n-k}$ : קודם בוחרים באילו $k$ מקומות תהיה הצלחה, ואז — בזכות אי־התלות — כופלים $p^k$ ב‑ $(1-p)^{n-k}$ . גם אם לא זוכרים שקוראים לזה "בינומי" — יודעים לעשות את זה.
$\Pr[\#\text{successes}=k]=\binom{n}{k}p^{k}(1-p)^{n-k}$
כשההסתברות נתונה כ‑ $\ge p$ מקבלים $\ge$ ולא $=$ .
ProbabilityCombinatoricsRandomization
What was said on the recording (1)
- גם אם אני לא זוכר שקוראים לזה בינומי, אני יודע לעשות את זה
  F079JsP2lvs @ 01:01:27
ExampleRememberL16·29
Toy example: $\mathrm{BPP}=\mathrm{BPP}_{4/5}$ with seven runs
$\hat M$ מריצה את $M$ שבע פעמים ומחזירה את תשובת הרוב. אז $\Pr[\hat M \text{ accepts}]=\sum_{k=4}^{7}\binom{7}{k}\left(\tfrac23\right)^k\left(\tfrac13\right)^{7-k}=\frac{1808}{2187}\approx 0.827\ge \tfrac45$ .
$\Pr[\hat M(x)=1]\ \ge\ \sum_{k=4}^{7}\binom{7}{k}\Big(\tfrac23\Big)^{k}\Big(\tfrac13\Big)^{7-k}=\frac{1808}{2187}\approx 0.827$
הפירוט: $\binom74\frac{16}{81}\cdot\frac1{27}=\frac{560}{2187}$ , $\binom75\frac{32}{243}\cdot\frac19=\frac{672}{2187}$ , $\binom76=\frac{448}{2187}$ , $\binom77=\frac{128}{2187}$ . חמש הרצות לא מספיקות — המרצה בדק.
RandomizationProbabilityCombinatorics
What was said on the recording (1)
- ואם אני סוחם את הכל אני אקבל 1808
  F079JsP2lvs @ 01:07:13
RuleRememberL16·30
Why majority voting works — the binomial concentrates around its mean
הצבעת רוב עובדת כי משתנה מקרי בינומי מרוכז סביב התוחלת שלו: אם מריצים $k$ פעמים בהסתברות הצלחה $2/3$ , התוחלת היא $\tfrac23 k$ — הרבה מעל הרוב $k/2$ .
$\mathbb{E}[\#\text{accepts}]=\tfrac23 k$
במקרה הכללי לא מחשבים את הסכום ביד אלא משתמשים באי־שוויון צ'רנוף — אי־שוויון שלא נלמד בקורס הזה ולא בקורס ההסתברות שלכם.
ProbabilityRandomizationCombinatorics
What was said on the recording (1)
- אז משתנה בינם היא מרוכה סביב התוכלת שלו
  F079JsP2lvs @ 01:08:48
- בתמלול "שרנו" — הכוונה Chernoff.
DefinitionRememberL16·31
The MIN-CUT problem
קלט: גרף לא מכוון $G=(V,E)$ . מטרה: למצוא חלוקה $V=U\,\dot\cup\,\bar U$ כך שגודל החתך $|E(U,\bar U)|$ מינימלי — כאשר שני הצדדים אינם ריקים.
$\min_{\emptyset\ne U\subsetneq V} |E(U,\bar U)|$
בלי הדרישה ששני הצדדים אינם ריקים אפשר תמיד למצוא חתך בגודל $0$ .
Graph problemsRandomizationFoundations
What was said on the recording (1)
- והמטרה למצוא חלוקה של הצמטים U משלים כך ש גודל החת פתח הוא מינימלי
  F079JsP2lvs @ 01:11:59
ClaimL16·32
MIN-CUT is in $\mathrm{P}$ — but the deterministic algorithm is complicated
MIN-CUT אינה NP-שלמה: ידוע איך לפתור אותה ויש לה אלגוריתם פולינומי. אבל האלגוריתם הדטרמיניסטי מאוד מורכב, רץ די הרבה זמן וקשה מאוד לממש — ולכן נראה לה אלגוריתם אקראי פשוט בהרבה.
קשור לזרימה מקסימלית / חתך מינימלי מקורס אלגוריתמים.
Graph problemsPRandomization
What was said on the recording (1)
- הבעיה הזאתי היא ידועה ידוע איך לפתור אותה יש אלגוריתם
  F079JsP2lvs @ 01:13:38
Proof techniqueRememberL16·33
Karger's contraction algorithm for MIN-CUT
על קלט גרף $G$ : כל עוד יש יותר משני קודקודים — בחר קשת באקראי באופן אחיד מהגרף הנוכחי וכווץ אותה (אחד את שני קצותיה לקודקוד אחד). בסוף, החזר את הקשתות בין שני הקודקודים שנותרו — זהו החתך.
כיווץ = מאחדים את שני הקודקודים לאחד, כל הקשתות שלהם נאספות יחד (קשתות מקבילות נשמרות), ולולאות עצמיות נמחקות. הדגימה היא מהגרף המעודכן בכל איטרציה, לא מהגרף המקורי.
RandomizationGraph problemsApproximation
What was said on the recording (1)
- בחר קשת באקראי באופן חיד
  F079JsP2lvs @ 01:15:17
- הניתוח (הסתברות ההצלחה) נדחה לשיעור הבא.
NotationL16·34
In a contraction, delete self-loops but keep parallel edges
בכיווץ קשת: לולאות עצמיות אפשר למחוק (הן לא מעניינות), אבל קשתות מקבילות נשמרות — אם קודקוד היה מחובר לשני הקצוות, יופיעו שתי קשתות. כך גודל החתך שנספר בסוף נכון.
התוצאה היא מולטי־גרף, וזה בכוונה: כל קשת של הגרף המקורי ממשיכה להיות מיוצגת.
Graph problemsRandomizationnotation
What was said on the recording (1)
- לולאות אני יכול למחוק
  F079JsP2lvs @ 01:18:32
RuleRememberL16·35
The general pattern of randomized algorithms
זה תמיד מה שעושים באלגוריתמים אקראיים: מריצים כמה פעמים עד שזה עובד בהסתברות טובה. גם אלגוריתם שהסתברות ההצלחה שלו "לא משהו" הופך לשימושי אחרי חזרות בלתי תלויות.
RandomizationProbability
What was said on the recording (1)
- מריצים כמה פעמים עד שזה עובד בהסתברות טובה
  F079JsP2lvs @ 01:20:06
Lecture 17
Proof techniqueL17·1
WLOG the graph is connected
ב‑MIN-CUT אפשר להניח שהגרף קשיר: אם לא, מריצים BFS, מוצאים רכיב קשירות לא טריוויאלי, ומחזירים אותו — החתך שלו בגודל $0$ (מרכיב קשירות אין קשתות יוצאות).
Graph problemsRandomizationProof technique
What was said on the recording (1)
- ולכן אפשר להניח שהגרף קשיר
  BOXt0BEgUAo @ 00:01:35
ClaimL17·2
Contraction algorithm runtime: $O(|V|\cdot|E|)$
לאלגוריתם הכיווץ יש $O(|V|)$ איטרציות (כל איטרציה מורידה קודקוד אחד עד לתנאי העצירה), וכל איטרציה עולה זמן ליניארי בגודל הגרף. סך הכול $O(|V|\cdot|E|)$ — לכל היותר סדר גודל של גודל הגרף בריבוע.
$O(|V|\cdot|E|)$
מניחים שבחירת קשת באקראי היא פעולה אטומית. מכיוון שהגרף קשיר, $|E|\ge|V|$ .
RandomizationGraph problemsTime
What was said on the recording (1)
- אז זמן הריצה של האלגוריתם הזה הוא בערך גודל הגרף בריבוע לא יותר
  BOXt0BEgUAo @ 00:04:19
RuleL17·3
"Contraction" is really Union-Find
פורמלית לא באמת מכווצים קודקודים — מחזיקים אוסף של קבוצות קודקודים ובכל איטרציה מאחדים שתי קבוצות, עד שנשארות שתי קבוצות שהן בדיוק $S$ ו‑ $\bar S$ .
מתחילים מ‑ $n$ קבוצות ויורדים ל‑ $n-1$ , $n-2$ , … עד $2$ . הציור של הכיווץ נוח להסבר, אבל מאחורי הקלעים זה Union-Find.
RandomizationGraph problemsnotation
What was said on the recording (1)
- אני לא באמת מקווץ קודקודים אלא אני שם אותם ביחד בתוך בתוך קבוצה
  BOXt0BEgUAo @ 00:09:13
Proof techniqueRememberL17·4
Bound a specific event instead of the one you can't compute
אין לנו דרך לחשב את ההסתברות שהאלגוריתם מחזיר איזשהו חתך מינימלי. לכן בוחרים בניתוח חתך מינימלי ספציפי $(S,\bar S)$ וחוסמים את ההסתברות להחזיר בדיוק אותו — הסתברות קטנה יותר, אבל כזו שיודעים לחשב.
החסם עדיין תקף, כי $\Pr[\text{returns some min cut}]\ge\Pr[\text{returns }(S,\bar S)]$ .
Proof techniqueProbabilityRandomizationExam
What was said on the recording (1)
- אני לא שואל מה ההסתברות שאלגוריתם מחזיר איזשהו חתך מינימלי, אלא אני אקח חתך מינימלי ספציפי
  BOXt0BEgUAo @ 00:13:27
ExampleL17·5
Minimum degree does not give the minimum cut
לא נכון שהחתך המינימלי מתקבל מהפרדת הקודקוד בעל הדרגה הקטנה ביותר. דוגמה נגדית: שני קליקים המחוברים בקשת אחת — החתך המינימלי הוא בגודל $1$ , אבל הוא מפריד חצי גרף ולא קודקוד בודד.
Graph problemsRandomization
What was said on the recording (1)
- אז קחו שני קליקים ותחברו אותם בקשת
  BOXt0BEgUAo @ 00:15:41
ClaimRememberL17·6
Observation: $K\le\deg(v)$ for every vertex
יהי $K$ גודל החתך המינימלי. אז לכל $v\in V$ מתקיים $\deg_G(v)\ge K$ — כי הפרדת $v$ לבדו היא חתך שגודלו בדיוק $\deg(v)$ , ומינימום בקבוצה קטן שווה מכל איבר בה.
$\forall v\in V:\ K\le \deg_G(v)$
Graph problemsRandomizationCombinatorics
What was said on the recording (1)
- הגודל של חתך מינימלי חייב להיות קטן שווה מכל הדרגות
  BOXt0BEgUAo @ 00:16:13
ClaimRememberL17·7
Criterion: the cut is returned iff no cut edge was contracted
"האלגוריתם החזיר את $(S,\bar S)$ " שקול ל"בשום איטרציה לא נבחרה קשת מתוך החתך". אם כווצתי קשת מהחתך, הכנסתי קודקוד מ‑ $S$ וקודקוד מ‑ $\bar S$ לאותו צד — ואז בוודאות לא אחזיר אותו.
התנאי הוא הכרחי ומספיק — וזה מה שמאפשר לתרגם את השאלה האלגוריתמית לשאלה הסתברותית.
RandomizationGraph problemsProbabilityProof technique
What was said on the recording (1)
- החזרתי את החתך הזה שקול ללהגיד לא בחרתי אף קשר מתוך החתך הזה
  BOXt0BEgUAo @ 00:26:32
CorollaryRememberL17·8
Corollary: $K\le 2|E|/|V|$
גודל החתך המינימלי מקיים $K\le \frac{2|E|}{|V|}$ . נובע מסכום הדרגות: $2|E|=\sum_{v}\deg(v)\ge K\cdot|V|$ .
$2|E|=\sum_{v\in V}\deg(v)\ \ge\ K\cdot|V|\quad\Longrightarrow\quad K\le \frac{2|E|}{|V|}$
ההבחנה נשמרת לאורך כל הריצה, גם על מולטי־גרפים: בכל שלב אפשר להפריד קודקוד ולקבל חתך בגודל הדרגה שלו. $|E|$ ו‑ $|V|$ משתנים, אבל האי־שוויון נשאר — יחסית לגרף הנוכחי.
Graph problemsRandomizationCombinatorics
What was said on the recording (1)
- לכן הגודל של חתך מינימלי בגרף תמיד יהיה קטן שווה מפעמיים מספר הקשטות בגרף חלקי מספר הקודקודים
  BOXt0BEgUAo @ 00:27:37
TheoremRememberL17·9
Karger's theorem: success probability $\ge 1/\binom{n}{2}$
לכל חתך מינימלי $(S,\bar S)$ מתקיים $\Pr[\text{ALG returns } (S,\bar S)]\ \ge\ \dfrac{1}{\binom{n}{2}}=\dfrac{2}{n(n-1)}$ , כאשר $n=|V|$ .
$\Pr[\text{ALG}=(S,\bar S)]\ \ge\ \binom{n}{2}^{-1}=\frac{2}{n(n-1)}$
"זו לא הסתברות משהו — בערך $1/n^2$ — אבל היא עדיין חיובית."
RandomizationGraph problemsProbability
What was said on the recording (1)
- ואני טוען שעל ההסתברות הזו גדולה שווה מ1ח חלקי V-2 ש
  BOXt0BEgUAo @ 00:28:43
- התמלול משבש את הביטוי; הכוונה $1/\binom{|V|}{2}$ .
PitfallRememberL17·10
Independent choices are not independent events
גם כשהאלגוריתם בוחר בכל איטרציה באופן בלתי תלוי — האקראיות לא תלויה, אבל מרחב המדגם כן תלוי: ממה אני בוחר נקבע לפי מה שכווצתי באיטרציות הקודמות. לכן אי אפשר להפוך את ההסתברות למכפלה.
זו בדיוק הסיבה שההוכחה עוברת להסתברות מותנית במקום לאי־תלות.
ProbabilityRandomizationExam
What was said on the recording (1)
- זה אומר שהקראיות היא לא תלויה, אבל המרחב מדגם הוא כן תלוי
  BOXt0BEgUAo @ 00:32:00
Exam guidanceRememberL17·11
Can't recall the offset? Run small numbers
"אני אף פעם לא זוכר בדיוק אם זה $n-2$ או פחות אחד." אני יודע שהמספר צריך לקטון באחד בכל איטרציה — רק לא זוכר את האופסט. אז בודקים על $2$ , בודקים על $3$ , ומשיגים את הנוסחה.
עובד בראש או על נייר, וחוסך שגיאות אינדקס בבחינה.
ExamProof techniqueCombinatorics
What was said on the recording (1)
- אני אף פעם לא זוכר בדיוק אם זה n פ 2 או פחות אחת
  BOXt0BEgUAo @ 00:33:04
ClaimRememberL17·12
The chain rule for the probability of an AND
$\Pr[E_1\cap\cdots\cap E_k]=\Pr[E_1]\cdot\Pr[E_2\mid E_1]\cdot\Pr[E_3\mid E_1\cap E_2]\cdots\Pr[E_k\mid E_1\cap\cdots\cap E_{k-1}]$ — כל פעם ההסתברות של המאורע הבא בהינתן שכל הקודמים קרו.
$\Pr\Big[\bigcap_{i=1}^{k}E_i\Big]=\prod_{i=1}^{k}\Pr\Big[E_i\ \Big|\ \bigcap_{j<i}E_j\Big]$
נובע באינדוקציה מהגדרת ההסתברות המותנית $\Pr[A\mid B]=\frac{\Pr[A\cap B]}{\Pr[B]}$ . זו אינה נוסחת ההסתברות השלמה — שם צריך פירוק של המרחב.
ProbabilityProof technique
What was said on the recording (1)
- לאינדוקציה אפשר להוכיח שההסתברות של וגם של n מינו 2 מאורות
  BOXt0BEgUAo @ 00:34:40
RuleRememberL17·13
Conditional probability is a conversion tool, not a formula to compute with
אל תסתכלו על $\Pr[A\mid B]=\frac{\Pr[A\cap B]}{\Pr[B]}$ כעל "איך מחשבים הסתברות מותנית" — אלא כעל נוסחה שמקשרת בין "וגם" לבין מותנית. לפעמים נוח לחשב את ה"וגם", ולפעמים — כמו כאן — נוח בהרבה לחשב את המותנית.
$\Pr[A\mid B]=\frac{\Pr[A\cap B]}{\Pr[B]}$
בקרגר, ההתניה "לא נבחרה עד כה קשת מהחתך" נותנת אינפורמציה על מרחב המדגם: החתך עדיין קיים ועדיין מינימלי בגרף הנוכחי, ולכן ההסתברות ניתנת לחסימה.
ProbabilityProof techniqueExam
What was said on the recording (1)
- אל תסתכלו על זה בתור איך לחשב הסתברות מותנת הנוסחה הזאת תסתכלו עליה בתור נוסחה שמקשרת בין הסתברות מותנת
  BOXt0BEgUAo @ 00:44:51
Proof techniqueRememberL17·14
Karger's telescoping product
$\Pr[E_j\mid E_1\cap\cdots\cap E_{j-1}]\ \ge\ 1-\frac{2}{n-j+1}$ , ולכן $\prod_{j}\left(1-\frac{2}{n-j+1}\right)=\frac{n-2}{n}\cdot\frac{n-3}{n-1}\cdots\frac{1}{3}=\frac{2}{n(n-1)}=\binom{n}{2}^{-1}$ — הכול מצטמצם חוץ מהקצוות.
$\prod_{j=1}^{n-2}\Big(1-\frac{2}{n-j+1}\Big)=\frac{2}{n(n-1)}$
בכל איטרציה יש עדיין חתך בגודל $K$ , וההסתברות שלא בוחרים ממנו קשת היא $\frac{|E|-K}{|E|}=1-\frac{K}{|E|}\ge 1-\frac{2}{|V|}$ .
RandomizationProbabilityCombinatoricsGraph problems
What was said on the recording (1)
- לכן ההסתברות שכל הים קראו שווה 1 - 2 חי N 1 - 2 ח n - 1
  BOXt0BEgUAo @ 00:47:28
RuleRememberL17·15
For optimization problems, aggregate by min — not by majority
בקרגר הטעות היחידה האפשרית היא להחזיר חתך גדול יותר — טעות חד־כיוונית. לכן מריצים הרבה פעמים ומחזירים את הקטן ביותר שהתקבל. אם הטעות הייתה דו־כיוונית (אפשר גם קטן מדי) — היה צריך חציון או ממוצע, כי "רוב" לא מוגדר על ערכים מספריים.
כל חתך שהאלגוריתם מחזיר הוא חתך חוקי, ולכן להחזיר את הקטן ביותר זה "הכי טוב שהצלחתי למצוא". "להחזיר את מה שחזר הכי הרבה פעמים" כאן doesn't make sense.
RandomizationApproximationProbabilityExam
What was said on the recording (1)
- הטעות היחידה שאני יכול לעשות זה להחזיר משהו גדול יותר
  BOXt0BEgUAo @ 00:56:17
Proof techniqueRememberL17·16
Amplifying Karger: $\binom{n}{2}\ln 2$ runs suffice
אם מריצים את האלגוריתם הבסיסי $\binom{n}{2}\ln 2$ פעמים באופן בלתי תלוי ומחזירים את החתך המינימלי מבין התוצאות, אז $\Pr[\text{failure}]\le\left(1-\binom{n}{2}^{-1}\right)^{\binom{n}{2}\ln 2}\le e^{-\ln 2}=\tfrac12$ — כלומר הצלחה בהסתברות $\ge\tfrac12$ .
$\Big(1-\tbinom{n}{2}^{-1}\Big)^{\binom{n}{2}\ln 2}\le e^{-\ln 2}=\tfrac12$
שוב $1+x\le e^{x}$ , עם $x=-\binom{n}{2}^{-1}$ . חוסמים את הסתברות הכישלון מלמעלה, כי כישלון הוא "וגם" והוא הולך טוב עם אי־תלות.
RandomizationProbabilityGraph problems
What was said on the recording (1)
- זה לא יותר מe בחזקת מי1 חלקי N2 כל זה בn2 לן 2 וזה שווה למה חצי
  BOXt0BEgUAo @ 00:58:52
RuleL17·17
The great advantage of randomized algorithms — simplicity
"הרבה פעמים אלגוריתמים אקראיים הם מאוד פשוטים" — "נבחר משהו באקראי באופן אחיד ויאללה". קרגר איטי יותר מהאלגוריתם הדטרמיניסטי הטוב ביותר ל‑MIN-CUT, אבל פשוט לאין ערוך לניסוח, למימוש ולניתוח.
השאלה המעניינת היא בדרך כלל מה לבחור; ברגע שיודעים — בוחרים אחיד וזהו.
RandomizationGraph problems
What was said on the recording (1)
- הרבה פעמים אלגוריתים אקראיים הם מאוד פשוטים
  BOXt0BEgUAo @ 01:01:28
ClaimL17·18
The number of cuts in a graph: $2^{n-1}-1$
בגרף עם $n$ קודקודים יש $2^{n-1}-1$ חתכים: $2^{n}$ תת־קבוצות, מורידים את הקבוצה הריקה ואת $V$ , וכל חתך נספר פעמיים (הקבוצה ומשלימתה).
$\#\text{cuts}=2^{n-1}-1$
כלומר סדר גודל מעריכי של חתכים.
CombinatoricsGraph problems
What was said on the recording (1)
- אז 2 בחזקת n - 1 - 1 מסכימים
  BOXt0BEgUAo @ 01:02:31
TheoremRememberL17·19
Theorem: a graph has at most $\binom{|V|}{2}$ minimum cuts
בכל גרף יש לכל היותר $\binom{|V|}{2}$ חתכים מינימליים. מתוך $\sim 2^{n}$ חתכים אפשריים, רק $O(n^2)$ מהם יכולים להיות מינימליים.
$L\le \binom{|V|}{2}$
הוכחה: יהיו $A_1,\dots,A_L$ המאורעות "האלגוריתם החזיר את החתך המינימלי ה‑ $j$ ". הם זרים בזוגות (האלגוריתם מחזיר חתך אחד בלבד), ולכל $j$ מתקיים $\Pr[A_j]\ge\binom{n}{2}^{-1}$ . לכן $1\ \ge\ \Pr[\bigcup A_j]=\sum_j \Pr[A_j]\ \ge\ L\cdot\binom{n}{2}^{-1}$ , כלומר $L\le\binom{n}{2}$ .
CombinatoricsGraph problemsRandomizationProbability
What was said on the recording (1)
- והינתן גרף יש בגרף לכל היותר V2. חתכים מינימל
  BOXt0BEgUAo @ 01:04:08
RuleRememberL17·20
The probabilistic method — combinatorial claim, probabilistic proof
מוכיחים טענה קומבינטורית (טענת ספירה או טענת קיום) בעזרת טיעונים הסתברותיים ואלגוריתמיים. הטענה עצמה אינה מזכירה אקראיות כלל — האקראיות היא רק כלי ההוכחה.
"זה מדהים. זה באמת יפה יפה." זה הנושא שנקרא השיטה ההסתברותית.
Proof techniqueCombinatoricsRandomizationProbability
What was said on the recording (1)
- אני מוכיח טענה קומבינטורית אבל בעזרת טיונים שהם הסתברותיים ואלגוריתמים
  BOXt0BEgUAo @ 01:04:46
TheoremRememberL17·21
The core principle of the probabilistic method
עבור משתנה מקרי $X$ בעל תוחלת, מתקיים $\Pr\big[X\ge \mathbb{E}[X]\big]>0$ . ומכיוון שההסתברות של המאורע חיובית — המאורע אינו ריק, כלומר קיימת נקודה שבה $X$ הוא לפחות התוחלת שלו.
$\Pr[X\ge \mathbb{E}[X]]>0\ \Longrightarrow\ \exists\,\omega\in\Omega:\ X(\omega)\ge \mathbb{E}[X]$
זהו הגרעין של כל הוכחה בשיטה ההסתברותית: הופכים חסם על תוחלת לטענת קיום.
ProbabilityProof techniqueCombinatoricsRandomization
What was said on the recording (1)
- היא גדולה ממש מאפס אוקיי ואז בעצם משני אלה אנחנו מסיקים ש יש נקודה שעליה x הוא לפחות התוחלת שלו
  BOXt0BEgUAo @ 01:09:37
DefinitionRememberL17·22
Probability space $(\Omega,\Pr)$ and the probability axioms
מרחב הסתברות הוא זוג $(\Omega,\Pr)$ : $\Omega$ קבוצה נקראת מרחב המדגם, כל נקודה בה נקודת מדגם, וכל תת־קבוצה שלה מאורע. $\Pr:2^{\Omega}\to[0,1]$ מקיימת: (1) $\Pr[\Omega]=1$ ; (2) $\Pr[\emptyset]=0$ ; (3) לכל סדרה של מאורעות זרים בזוגות — $\Pr[\bigcup A_i]=\sum\Pr[A_i]$ .
$\Pr:2^{\Omega}\to[0,1],\quad \Pr[\Omega]=1,\quad \Pr[\emptyset]=0,\quad \Pr\Big[\bigcup_i A_i\Big]=\sum_i\Pr[A_i]\ \ (A_i \text{ pairwise disjoint})$
$2^{\Omega}$ הוא קבוצת כל תת־הקבוצות של $\Omega$ (בתורת הקבוצות סימנתם $\mathcal{P}(\Omega)$ ) — זו קבוצה, לא מספר.
ProbabilityFoundationsnotation
What was said on the recording (1)
- לכל סדרה של מאורות זרים בזוגות ההסתברות של האיחוד זה סכום
  BOXt0BEgUAo @ 01:11:15
Proof techniqueL17·23
From countable to finite additivity — pad with empty sets
האקסיומה נותנת חיבוריות לסדרה אינסופית. כדי לקבל אותה למספר סופי של מאורעות: מגדירים $B_k=A_k$ עבור $k\le n$ ו‑ $B_k=\emptyset$ אחרת. הקבוצה הריקה זרה לכל קבוצה, האיחודים שווים, ו‑ $\Pr[\emptyset]=0$ מאפס את הזנב.
$B_k=\begin{cases}A_k & k\le n\\ \emptyset & k>n\end{cases}$
מלכודת: אי אפשר פשוט לחזור על אותה קבוצה — היא לא זרה לעצמה.
ProbabilityProof techniqueFoundations
What was said on the recording (1)
- קבוצות ריקות אני פשוט אמשיך עלי קבוצות ריקות הקבוצה הריקה זרה לכל קבוצה
  BOXt0BEgUAo @ 01:17:14
ClaimRememberL17·24
Three basic results: complement, monotonicity, union bound
יהי $(\Omega,\Pr)$ מרחב הסתברות ו‑ $A,B$ מאורעות. אז: (1) $\Pr[\bar A]=1-\Pr[A]$ ; (2) אם $A\subseteq B$ אז $\Pr[A]\le\Pr[B]$ ; (3) חסם האיחוד (Union Bound): $\Pr[A\cup B]\le\Pr[A]+\Pr[B]$ .
$\Pr[\bar A]=1-\Pr[A];\quad A\subseteq B\Rightarrow\Pr[A]\le\Pr[B];\quad \Pr[A\cup B]\le\Pr[A]+\Pr[B]$
כל השלוש מוכחות באותה טכניקה: בונים קבוצות זרות בזוגות כדי להשתמש באקסיומה השלישית. למשל $B=A\,\dot\cup\,(B\setminus A)$ , ולכן $\Pr[B]=\Pr[A]+\Pr[B\setminus A]\ge\Pr[A]$ .
ProbabilityFoundationsProof technique
What was said on the recording (1)
- אני טוען שההסתברות של A משלים זה 1 פח ההסתברות של A
  BOXt0BEgUAo @ 01:19:59
Proof techniqueRememberL17·25
To use the axioms, aim for pairwise disjoint events
האקסיומה השלישית עובדת רק על מאורעות זרים בזוגות. לכן, כשרוצים להוכיח משהו — מפרקים לקבוצות זרות: $B=A\ \dot\cup\ (B\setminus A)$ ו‑ $A\cup B=A\ \dot\cup\ (B\setminus A)$ .
$A\cup B = A\ \dot\cup\ (B\setminus A)$
" $A\cup B$ לא עוזר לי, כי הם לא זרים בזוגות — אז בואו נכוון למאורעות זרים בזוגות."
ProbabilityProof techniqueExam
What was said on the recording (1)
- אז בואי נכוון למאוראות זרים בזוגות
  BOXt0BEgUAo @ 01:23:26
DefinitionRememberL17·26
There is nothing random about a random variable — it is a function
משתנה מקרי הוא פונקציה $X:\Omega\to\mathbb{R}$ ממרחב המדגם לממשיים. "אין שום דבר מקרי במשתנה מקרי" — תזכרו את המשפט הזה.
$X:\Omega\to\mathbb{R}$
הניסוח הסטנדרטי ("נסמן ב‑ $X$ את סכום ההטלות") גורם לתחושה ש‑ $X$ הוא "מספר אקראי". פורמלית זה לא נכון — זו פונקציה, וההסתברות מגיעה ממה שמכניסים לתוכה.
ProbabilityFoundationsExam
What was said on the recording (1)
- אין שום דבר מקרי במשתנה מקרי
  BOXt0BEgUAo @ 01:30:13
PitfallRememberL17·27
The sample space holds the outcomes, not the values of $X$
מרחב המדגם לעולם יהיה אוסף התוצאות האפשריות של הניסוי — התוצאות המלאות. במטילים שתי קוביות, $\Omega=\{1,\dots,6\}^2$ ולא $\{2,\dots,12\}$ ; המספרים $2..12$ הם כבר מה ש‑ $X$ מחזיר.
$\Omega=\{1,\dots,6\}^2,\qquad X(a,b)=a+b$
$X$ "ממקד" אותי במה שמעניין אותי מתוך התוצאה המלאה — בגלל זה הוא פונקציה.
ProbabilityFoundationsExam
What was said on the recording (1)
- מרחב המדגם זה התוצאות של הניסוי שלי, התוצאות המלאות
  BOXt0BEgUAo @ 01:32:23
NotationRememberL17·28
$\Pr[X\in A]$ is shorthand — probability lives on $\Omega$
הסימון $\Pr[X\in A]$ הוא חצי־סלנג: ההסתברות אינה מוגדרת על $\mathbb{R}$ אלא על תת־קבוצות של $\Omega$ . מה שבאמת כתוב הוא $\Pr\big[\{\omega\in\Omega: X(\omega)\in A\}\big]$ .
$\Pr[X\in A]:=\Pr\big[\{\omega\in\Omega: X(\omega)\in A\}\big]$
אותו דבר ל‑ $\Pr[X\ge a]$ , $\Pr[X<a]$ וכו' — תמיד אפשר לתרגם הכול לקבוצות, וזה מה שצריך לעשות כשמתבלבלים.
ProbabilitynotationFoundationsExam
What was said on the recording (1)
- בעצם מה שרשום פה זה ההסתברות של קבוצת כל הנקודות באומגה עבורן x של אומגה שייך
  BOXt0BEgUAo @ 01:36:05
TheoremRememberL17·29
Theorem: every graph has a cut of size $\ge|E|/2$
לכל גרף $G=(V,E)$ קיימת קבוצה $U\subseteq V$ כך שבחתך $(U,\bar U)$ יש לפחות $\frac{|E|}{2}$ קשתות.
$\exists U\subseteq V:\ |E(U,\bar U)|\ \ge\ \frac{|E|}{2}$
טענה קומבינטורית טהורה (טענת קיום). ראינו כבר שני אלגוריתמים דטרמיניסטיים שמוכיחים אותה: local search (מזיזים קודקודים עד נקודת שיווי משקל), והקצאה חמדנית של קודקוד לקבוצה לפי מספר השכנים בכל צד. כאן נוכיח אותה בשיטה ההסתברותית.
Graph problemsCombinatoricsProbabilityApproximation
What was said on the recording (1)
- יהי G גרף קיימת קבוצה U ב-V כך שבחתך U יו משלים יש לפחות חצי מהקשטות
  BOXt0BEgUAo @ 01:42:33
Proof techniqueRememberL17·30
Proving the MAX-CUT bound probabilistically — experiment and indicators
הניסוי: לכל קודקוד $v$ , באופן בלתי תלוי, מכניסים אותו ל‑ $U$ בהסתברות $\tfrac12$ . אז מרחב המדגם הוא $\Omega=2^{V}$ (כל תת־הקבוצות של $V$ ), $X(U)=|E(U,\bar U)|$ הוא פונקציה המקבלת קבוצת קודקודים ומחזירה את גודל החתך, ולכל קשת $e$ מגדירים אינדיקטור $I_e(U)=\mathbb{1}[\,|e\cap U|=1\,]$ .
$\Omega=2^{V},\quad X(U)=|E(U,\bar U)|=\sum_{e\in E} I_e(U),\quad I_e(U)=\mathbb{1}[\,|e\cap U|=1\,]$
$I_e(U)=1 \iff |e\cap U|=1$ , ולכן $X=\sum_{e\in E} I_e$ — פונקציה אחת מוצגת כסכום של פונקציות אחרות: לכל $U$ , מה ש‑ $X$ מחזיר הוא סכום מה שהאינדיקטורים מחזירים.
ProbabilityCombinatoricsGraph problemsProof technique
What was said on the recording (1)
- נכניס את הקודקוד V לקבוצה U בהסתברות חצי
  BOXt0BEgUAo @ 01:44:14
Proof techniqueRememberL17·31
Linearity of expectation plus indicators
מליניאריות התוחלת: $\mathbb{E}[X]=\sum_{e}\mathbb{E}[I_e]$ . במקרה של MAX-CUT, $\Pr[e\in\text{cut}]=\tfrac12$ לכל קשת, ולכן $\mathbb{E}[X]=\frac{|E|}{2}$ — ומכאן, לפי השיטה ההסתברותית, קיים חתך בגודל $\ge|E|/2$ .
$\mathbb{E}[X]=\sum_{e\in E}\mathbb{E}[I_e]=\sum_{e\in E}\tfrac12=\frac{|E|}{2}$
ליניאריות התוחלת עובדת גם כשהמשתנים תלויים — זה מה שהופך את הצירוף "ליניאריות + אינדיקטורים" לכלי כה חזק.
ProbabilityCombinatoricsProof techniqueGraph problems
What was said on the recording (1)
- התווחלת של x זה סכום התוכולות
  BOXt0BEgUAo @ 01:50:18
ClaimRememberL17·32
The expectation of an indicator is the probability that it equals 1
תוחלת של משתנה אינדיקטור היא תמיד ההסתברות שהוא שווה $1$ : $\mathbb{E}[I]=0\cdot\Pr[I=0]+1\cdot\Pr[I=1]=\Pr[I=1]$ .
$\mathbb{E}[I]=\Pr[I=1]$
נובע ישירות מהגדרת התוחלת: סכום של ערך כפול ההסתברות שלו.
ProbabilityFoundationsExam
What was said on the recording (1)
- תוחלת של משתנה אינדיקטור זה תמיד ההסתברות שהוא אחת
  BOXt0BEgUAo @ 01:51:31
Proof techniqueRememberL17·33
The same computation uses both disjointness and independence
$\Pr[e=\{x,y\}\in\text{cut}]=\Pr[x\in U, y\notin U]+\Pr[x\notin U, y\in U]$ — הסכום מגיע מזרות של שני המאורעות; המכפלה בתוך כל אחד מגיעה מאי־תלות. סה"כ $\tfrac12\cdot\tfrac12+\tfrac12\cdot\tfrac12=\tfrac12$ .
$\Pr[I_e=1]=\Pr[x\in U]\Pr[y\notin U]+\Pr[x\notin U]\Pr[y\in U]=\tfrac14+\tfrac14=\tfrac12$
"זה מאי־תלות, זה מזרות, זה מאי־תלות" — בכל מעבר צריך לדעת על איזו תכונה הסתמכתם.
ProbabilityProof techniqueExam
What was said on the recording (1)
- ולכן זה מאיתלות, זה מזרות
  BOXt0BEgUAo @ 01:54:38
Exam guidanceRememberL17·34
What you actually write — just the existence line
כל המעברים הפורמליים (" $\Pr$ על אילו קבוצות", " $X$ הוא פונקציה") לא נהוג לרשום. מה שכותבים בסוף הוא רק: "לכן קיים חתך שגודלו לפחות $\frac{|E|}{2}$ ".
"האזכור לזה ש‑ $X$ הוא פונקציה לא מופיע אף פעם בשום טקסט הסתברותי, ולכן שוכחים את זה מהר וכל כך קל להתבלבל." מאחורי הקלעים כן כדאי לרשום לעצמכם — זה מחדד את המחשבה.
ExamProbabilityProof technique
What was said on the recording (1)
- עכשיו את כל המעברים האלה לא נהוג לרשום
  BOXt0BEgUAo @ 01:57:46
RuleRememberL17·35
$\mathbb{E}[X]$ is a fixed number — the randomness is in what you feed $X$
התוחלת היא מספר קבוע — אין בה שום דבר אקראי. האקראיות אינה ב‑ $X$ (שהוא פונקציה) אלא במה שמכניסים לתוך $X$ , כלומר בבחירת הנקודה מ‑ $\Omega$ .
"אנחנו לא רגילים בכלל לשאול את עצמנו מה האקראי כאן — וזה החלק שמבלבל." בטקסטים הסתברותיים הכול נראה אינטואיטיבי, אבל שום דבר בו אינו אינטואיטיבי.
ProbabilityFoundationsExam
What was said on the recording (1)
- זה מספר שהוא קבוע אין בו כבר שום דבר אקראי
  BOXt0BEgUAo @ 01:59:21
PitfallRememberL17·36
Same distribution — but not the same experiment
"מטילים מטבע לכל קודקוד בנפרד" ו"בוחרים קבוצה $U$ באקראי אחיד מ‑ $2^{V}$ " מייצרים את אותה התפלגות — אבל אלה לא אותו ניסוי, וזה לא נובע מהניסוח.
ההבדל מתבטא בדיוק בחישוב $\Pr[e\in\text{cut}]$ : בניסוח הראשון השתמשתי באי־תלות בין הקודקודים; בניסוח השני בחרתי את הקבוצה בבת אחת — אין לי את אי־התלות הזו, וצריך לחשב מחדש.
ProbabilityRandomizationExam
What was said on the recording (1)
- זה לא אותו ניסוי זה לא מטור תואר כאותו ניסוי
  BOXt0BEgUAo @ 02:01:58
Lecture 18
RuleRememberL18·1
Derandomization — from an expected guarantee to a certain one
מתוך אלגוריתם אקראי שמשיג משהו בתוחלת, אפשר לבנות אלגוריתם דטרמיניסטי שישיג את אותו הדבר בוודאות. הכלי לכך הוא תוחלות מותנות.
זה הנושא שנפתח כאן וימשיך בשיעורים הבאים.
RandomizationProof techniqueProbability
What was said on the recording (1)
- האלגוריתם האקראי משיג משהו בתוחלת האלגוריתם הדטרמיניסטי ישיג אותו באופן דטרמיניסטי
  76U7Dga6LFI @ 00:00:33
PitfallRememberL18·2
Uniform sampling of a set does not hand you independence
אם דוגמים קבוצה $U$ אחיד מ‑ $2^{V}$ , אסור לכתוב $\Pr[x\in U\wedge y\notin U]=\tfrac12\cdot\tfrac12$ — לא הוגדרו כאן מאורעות בלתי תלויים. אי־תלות היא משהו שצריך להוכיח או לקבל, לא להניח כי "הכול מסתדר יפה".
בפועל התוצאה כן יוצאת $\tfrac14$ — והחישוב הקומבינטורי הוא בדיוק ההוכחה לאי־התלות, ולא נובע ממנה.
ProbabilityRandomizationExam
What was said on the recording (1)
- אבל זה לא נובע מזה שתגעתי באופן אחיד
  76U7Dga6LFI @ 00:13:31
Proof techniqueRememberL18·3
Counting a set via a bijection to one you can count
כשמנסים למצוא גודל של קבוצה — מחפשים קבוצה שאפשר להראות אליה שקילות (התאמה חד־חד־ערכית ועל), שיש עבורה נוסחה. למשל $\{U\subseteq V: x\in U,\ y\notin U\}$ שקולה ל‑ $\mathcal{P}(V\setminus\{x,y\})$ , שגודלה $2^{|V|-2}$ .
$\big|\{U\subseteq V: x\in U, y\notin U\}\big| = \big|\mathcal{P}(V\setminus\{x,y\})\big| = 2^{|V|-2}$
הפונקציה: מ‑ $U$ מסירים את $x$ ; ההופכית: מוסיפים את $x$ בחזרה. גודל קבוצת החזקה הוא $2^{|A|}$ — קומבינטוריקה בסיסית. גם כשעושים את זה בראש, צריך להבין שזה מה שקורה.
CombinatoricsProof techniqueProbabilityExam
What was said on the recording (1)
- אני אנסה לראות איזה קבוצה אני יכול להראות שקילות אליה שזה קבוצה שאני יש לי נוסחה עבורה
  76U7Dga6LFI @ 00:16:12
DefinitionRememberL18·4
MAX-E3SAT — the optimization version of 3-Exact-SAT
קלט: נוסחה בוליאנית $\varphi$ בצורת 3CNF שבכל פסוקית שלה יש בדיוק שלושה ליטרלים ממשתנים שונים. מטרה: למצוא הצבה המספקת את מספר הפסוקיות הרב ביותר.
בניגוד ל‑3SAT הרגילה, כאן דורשים מראש שלושה משתנים שונים בכל פסוקית — נדרש כדי לחשב את ההסתברויות. יש רדוקציה מ‑3SAT ל‑3-Exact-SAT. בין פסוקיות שונות משתנים כן יכולים לחזור.
SATApproximationNP-completeness
What was said on the recording (1)
- כל נוסחה בוליאנית פ מצורה 3 CNF שבכל הסגר שלה יש בדיוק שלושה ליטרלים
  76U7Dga6LFI @ 00:18:08
RuleRememberL18·5
A random variable's functional dependence appears in its description
אם מסתכלים מספיק טוב בתיאור של משתנה מקרי, התלות הפונקציונלית שלו תמיד מופיעה שם. " $X$ = מספר הפסוקיות המסופקות על ידי $V$ " — כלומר $X$ מקבל הצבה ומחזיר מספר, ומרחב המדגם הוא קבוצת כל ההצבות.
$X:\{0,1\}^{n}\to\mathbb{N},\qquad I_c:\{0,1\}^{n}\to\{0,1\}$
לעומת זאת האינדיקטור $I_c$ אינו מקבל את $c$ — " $c$ הוא חלק מה‑DNA שלה", חלק מהמבנה של הפונקציה ולא מהקלט שלה.
ProbabilityFoundationsExam
What was said on the recording (1)
- אם מסתכלים מספיק טוב בתיאור של המשתנה זה תמיד מופיע
  76U7Dga6LFI @ 00:25:55
Exam guidanceRememberL18·6
Write in the active voice: " $V$ satisfies $c$ ", not " $c$ is satisfied"
תמיד לנסח בפעיל — "ההסתברות ש‑ $V$ אינה מספקת את $c$ " ולא "ההסתברות ש‑ $c$ אינו מסופק". בסביל שוכחים את $V$ , ואז שוכחים במי תלוי המשתנה המקרי; ברגע ש‑ $V$ בסוף המשפט, הסיכוי שהוא ייעלם גדול.
אותו כלל חל על כל טענה הסתברותית: להצמיד את מקור האקראיות לתחילת המשפט.
ExamProbabilitynotation
What was said on the recording (1)
- אני תמיד אגיד את זה בפעיל כדי לזכור את v בתור דבר ראשון
  76U7Dga6LFI @ 00:29:50
PitfallRememberL18·7
Don't lose the AND — "a grave sin"
אסור לכתוב " $\ell_1\vee\ell_2\vee\ell_3=F$ " כאילו זה טענה אחת — כותבים במפורש $\ell_1=F$ וגם $\ell_2=F$ וגם $\ell_3=F$ . "ראית איך בקלות אתה קופץ מפה לשם" — תמיד להדגיש את ה"וגם".
ה"וגם" הוא בדיוק המבנה שמאפשר להשתמש באי־תלות ולכפול הסתברויות.
ExamProbabilityQuantifiersSAT
What was said on the recording (1)
- ושוב איבדת את L1 לא שווה פול זה אל תגיד זה כבר חטא חמור
  76U7Dga6LFI @ 00:30:58
RuleRememberL18·8
Here you need both independence and distinct variables
המעבר $\Pr[\ell_1=F \wedge \ell_2=F \wedge \ell_3=F]=\tfrac12\cdot\tfrac12\cdot\tfrac12$ נשען על אי־התלות בין ההצבות וגם על כך שהליטרלים באים משלושה משתנים שונים. בלי הדרישה השנייה החישוב נופל.
$\Pr[\ell_1=\ell_2=\ell_3=F]=\tfrac18$
זו הסיבה שהבעיה מוגדרת דווקא כ‑3-Exact-SAT.
ProbabilitySATProof techniqueExam
What was said on the recording (1)
- בזה שהמשתנים הם שונים. כאן הייתי צריך את זה
  76U7Dga6LFI @ 00:31:29
TheoremRememberL18·9
Theorem: an assignment satisfying 7/8 of the clauses always exists
לכל נוסחה $\varphi$ בצורת 3CNF שבכל פסוקית שלה בדיוק שלושה ליטרלים ממשתנים שונים — קיימת הצבה המספקת לפחות $\frac78$ מהפסוקיות.
$\mathbb{E}[X]=\sum_{c}\mathbb{E}[I_c]=\tfrac78 m\ \Longrightarrow\ \exists V:\ X(V)\ge \tfrac78 m$
הוכחה: לכל משתנה $x_i$ , באופן בלתי תלוי, $V(x_i)=1$ בהסתברות $\tfrac12$ . יהי $X$ מספר הפסוקיות המסופקות ו‑ $I_c$ אינדיקטור לכך ש‑ $V$ מספקת את $c$ . אז $\Pr[V \text{ does not satisfy } c]=\Pr[\ell_1=\ell_2=\ell_3=F]=\tfrac18$ (אי־תלות + משתנים שונים), ולכן $\mathbb{E}[I_c]=\tfrac78$ ו‑ $\mathbb{E}[X]=\tfrac78 m$ .
SATProbabilityCombinatoricsApproximationRandomization
What was said on the recording (1)
- אז אם התוחלת של x היא שבע שמיניות מספר ההסגירים זה אומר שקיימת הסמה שמספקת שבע שמיניות m
  76U7Dga6LFI @ 00:33:57
TheoremRememberL18·10
Linearity of expectation requires nothing — dependence is fine
$\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$ מתקיים לכל סט של משתנים מקריים — גם אם הם תלויים לחלוטין. ליניאריות התוחלת אינה דורשת אי־תלות ואינה דורשת דבר, מלבד שלמשתנים תהיה תוחלת.
$\mathbb{E}\Big[\sum_i X_i\Big]=\sum_i \mathbb{E}[X_i]\quad\text{(no independence assumed)}$
זו בדיוק הסיבה שההוכחה עובדת למרות שהאינדיקטורים של פסוקיות שונות תלויים לגמרי (פסוקיות חולקות משתנים). עם שונות היינו תקועים — שם צריך את כל הקווריאנציות. "תוחלת היא מדד מאוד חלש, ולכן הוא מתירני."
ProbabilityProof techniqueExamRandomization
What was said on the recording (1)
- ליניאריות התוחלת מתקיימת לכל סט של משתנים מקריים
  76U7Dga6LFI @ 00:36:35
TheoremL18·11
The PCP theorem (gap version): $7/8$ vs $7/8+\varepsilon$ is NP-hard
לכל $\varepsilon>0$ : להכריע עבור נוסחת E3CNF האם מספר הפסוקיות המקסימלי שניתן לספק הוא לכל היותר $\tfrac78$ או לפחות $\tfrac78+\varepsilon$ — הוא NP-קשה.
$\forall \varepsilon>0:\ \text{GAP-E3SAT}_{7/8,\,7/8+\varepsilon}\ \text{is NP-hard}$
מדהים דווקא משום ש‑ $\tfrac78$ תמיד מובטח (המשפט הקודם) — כלומר להבדיל בין מה שתמיד מתקיים לבין "טיפ־טיפה יותר" הוא כבר קשה. עבור $\varepsilon=\tfrac18$ זו בדיוק 3SAT.
ApproximationSATNP-completenessRandomization
What was said on the recording (1)
- אז להבדיל בין מצב שתמיד אני יודע שמתקיים לבין עוד טיפלה, מסתבר שזה NP קשה
  76U7Dga6LFI @ 00:40:52
- מחוץ לחומר הקורס ולא למבחן — המרצה אמר זאת במפורש.
TheoremL18·12
PCP = probabilistically checkable proofs — an alternative characterization of NP
לכל בעיה ב‑ $\mathrm{NP}$ קיימת מכונת אימות הסתברותית כך שאם $x$ בשפה — קיים עד שממנו די לדגום שלושה ביטים באקראי אחיד כדי לקבל בהסתברות לא זניחה; ואם $x$ אינו בשפה — המכונה בוודאות דוחה, ואין עד שישכנע אותה.
העד אינו העד ה"רגיל" (לא המסלול ההמילטוני עצמו) אלא עד שדורש בנייה מיוחדת. חוסר הסימטריה של $\mathrm{NP}$ נשמר. מכיוון שהטעות חד־צדדית — אמפליפיקציה מ‑3 ביטים ל‑30 ביטים כבר מביאה להסתברות גבוהה.
NPCertificates and verifiersRandomizationComplexity classes
What was said on the recording (1)
- הראשי תיבות PCP נקרא probabilistically checkable proofs
  76U7Dga6LFI @ 00:44:04
- מחוץ לחומר הקורס ולא למבחן — המרצה אמר זאת במפורש.
DefinitionRememberL18·13
Dominating Set
בגרף $G=(V,E)$ , קבוצה $U\subseteq V$ נקראת שלטת אם לכל $x\in V$ : או ש‑ $x\in U$ , או שקיים $y\in U$ שהוא שכן של $x$ .
$\forall x\in V:\ x\in U\ \vee\ \exists y\in U:\ \{x,y\}\in E$
"כל קודקוד — או שהוא בקבוצה, או שיש לו שכן מיידי בקבוצה. לא מסלול לקבוצה — קשת."
Graph problemsNP-completenessFoundations
What was said on the recording (1)
- כל קוד קוד או שהוא בקבוצה או שיש לו שכן מיידי בקבוצה. לא יש מסלול לקבוצה אלא קשר
  76U7Dga6LFI @ 00:50:50
DefinitionL18·14
The DOMINATING-SET decision language
קלט: גרף $G$ ומספר $K$ . שאלה: האם קיימת בגרף קבוצה שלטת בגודל לכל היותר $K$ ?
$\langle G,K\rangle\in \text{DS}\iff \exists U\subseteq V,\ |U|\le K,\ U \text{ dominating}$
"לכל היותר $K$ " ו"בדיוק $K$ " שקולים כאן: תמיד אפשר להוסיף קודקוד לקבוצה שלטת והיא תישאר שלטת.
Graph problemsNP-completenessnotation
What was said on the recording (1)
- אם יש לי קבוצה שלטת אני תמיד יכול להוסיף לה קודקוד היא תישאר קבוצה שלטת
  76U7Dga6LFI @ 00:51:57
ExampleL18·15
Why dominating set matters — influencers, traffic lights, billboards
קבוצה שלטת ממדלת בעיות עולם אמיתי: לבחור קבוצה קטנה ככל האפשר של משפיענים שמכסה את כל הרשת (כל אחד הוא מישהו ששילמתי לו או מחובר למישהו ששילמתי לו), למקם רמזורים בצמתים, לפזר שלטי פרסומת.
Graph problemsNP-completeness
What was said on the recording (1)
- אני ארצה לבחור קבוצה שהיא כמה ש יותר קרובה לקבוצה דומיננטית וכמה שיותר קטנה
  76U7Dga6LFI @ 00:53:01
RuleL18·16
"If it's interesting and decidable, it's NP-hard"
כלל אצבע (לא משפט): אם הבעיה מעניינת והיא כריעה — היא NP-קשה; אם היא ממש מעניינת — היא לא כריעה. "זה פחות או יותר החיים."
המרצה הדגיש מיד: אין משפט שאומר שכל בעיה מעניינת היא NP-קשה. זו אמירה חינוכית, לא טענה מתמטית.
NP-completenessComplexity classesFoundations
What was said on the recording (1)
- כי אם זה מעניין וזה קריע אז אינטי קשה
  76U7Dga6LFI @ 00:53:31
- המרצה הבהיר שזה לא משפט אלא כלל אצבע.
Proof techniqueRememberL18·17
The gadget: a vertex $v_{xy}$ per edge
לכל קשת $\{x,y\}$ מוסיפים קודקוד חדש $v_{xy}$ ומחברים אותו לשני קצוותיה. הקודקוד $v_{xy}$ כופה על אחד מבין $x,y$ להיות בקבוצה השלטת — וזה בדיוק מה שהופך קבוצה שלטת לכיסוי בקודקודים.
$\hat V = V\cup\{v_{xy}: \{x,y\}\in E\},\qquad \hat E = E\cup\{\{v_{xy},x\},\{v_{xy},y\}\}$
ל‑ $v_{xy}$ יש בדיוק שני שכנים ( $x$ ו‑ $y$ ), ולכן כל קבוצה שלטת חייבת להכיל את $v_{xy}$ עצמו או אחד מהם — ובשני המקרים אפשר לתרגם לבחירה של $x$ או $y$ .
ReductionsNP-completenessGraph problemsProof technique
What was said on the recording (1)
- בעצם vxy כפה על אחד מבין x וy להיות בפנים
  76U7Dga6LFI @ 00:57:51
RuleRememberL18·18
A reduction never finds a solution
רדוקציה מעבירה קלט לקלט — היא אף פעם לא מוצאת פתרון. ברדוקציה מ‑SAT ל‑3SAT קיבלנו נוסחה והחזרנו נוסחה; לא הבאנו הצבה. אם רדוקציה הייתה פותרת את הבעיה, היינו מוכיחים $\mathrm{P}=\mathrm{NP}$ .
"אני מקבל instance של בעיה אחת ומחזיר instance של בעיה אחרת." זה מאוד מאוד חשוב ומקור נפוץ לבלבול.
ReductionsNP-completenessExam
What was said on the recording (1)
- אבל רדוקציה אף פעם לא תמצא לי פתרון
  76U7Dga6LFI @ 00:59:59
RuleRememberL18·19
Vertex Cover vs Dominating Set — edges versus vertices
ההגדרות דומות מאוד, ההבדל הוא בזווית: ב‑Vertex Cover מסתכלים מכיוון הקשתות — רוצים לכסות את כל הקשתות. ב‑Dominating Set מסתכלים מכיוון הקודקודים — רוצים שכל קודקוד יהיה בקבוצה או שיהיה לו שכן בה; אין חובה לכסות את כל הקשתות.
כל כיסוי בקודקודים (בגרף בלי קודקודים מבודדים) הוא קבוצה שלטת — אבל לא להפך.
Graph problemsNP-completenessReductions
What was said on the recording (1)
- כאן אני מסתכל על זה מכיוון של הקשטות. אני רוצה לחסות את כל הקשטות וכאן אני מסתכל על זה מכיוון של קודקודים
  76U7Dga6LFI @ 01:03:06
PitfallRememberL18·20
Isolated vertices must be deleted in the reduction
קודקוד מבודד חייב להיות בתוך כל קבוצה שלטת (אין לו שכן) — אבל הוא חסר משמעות לכיסוי בקודקודים. לכן הוא מגדיל את גודל הקבוצה השלטת המינימלית בכמות שאינה תלויה ב‑ $K$ , והרדוקציה נשברת. הפתרון: מוחקים אותם.
הסרת קודקודים מבודדים אינה משנה כיסוי בקודקודים — הוא נשאר כיסוי.
ReductionsGraph problemsNP-completenessExam
What was said on the recording (1)
- קודקוד מבודד חייב להיות בתוך דומיניטינגסט
  76U7Dga6LFI @ 01:11:49
Proof techniqueRememberL18·21
To prove an OR statement, assume one side fails
ברגע שצריך להוכיח טענת "או" — מניחים שאחד הצדדים לא מתקיים ומוכיחים את השני. כאן: הנחנו $x\notin U$ והראינו שקיים לו שכן ב‑ $U$ , ומכאן ש"או $x\in U$ או שיש לו שכן ב‑ $U$ ".
$A\vee B \equiv \neg A\Rightarrow B$
Proof techniqueQuantifiersExam
What was said on the recording (1)
- ברגע שאני צריך להוכיח טענת o אני מניח שאחד הצדדים לא מתקיים ומוכיח את השני
  76U7Dga6LFI @ 01:14:58
ExampleL18·22
Why the identity reduction fails — the star graph
אי אפשר להחזיר את הגרף כמו שהוא: בגרף כוכב הקודקוד המרכזי הוא קבוצה שלטת בגודל $1$ , אבל הוא אינו כיסוי בקודקודים (הוא לא נוגע בקשתות שבין העלים). זה בדיוק הכיוון שבו הרדוקציה הייתה נופלת.
כל קודקוד בכוכב הוא לבדו קבוצה שלטת — אבל אין כיסוי בקודקודים בגודל $1$ .
ReductionsGraph problemsNP-completeness
What was said on the recording (1)
- אז הקודקוד המרכזי הוא לא ורטקס כעבר כי יש המון קשטות שהוא לא נוגע בהם אבל הוא כן דומיניט
  76U7Dga6LFI @ 01:16:03
Proof techniqueL18·23
The converse direction — repairing the set back into $V$
בכיוון ההפוך $\hat U$ עלולה להכיל קודקודים חדשים, ולכן אינה מוכלת ב‑ $V$ . בונים $U\subseteq V$ : לכל $x\in\hat U$ — אם $x\in V$ מכניסים אותו, ואם $x=v_{ab}$ מכניסים אחד משכניו ( $a$ או $b$ , לפי כלל שרירותי כלשהו). אז $U\subseteq V$ ו‑ $|U|\le K$ .
$|U|\le K$ ולא $=K$ כי ייתכן שקודקוד נספר פעמיים — וזה בכיוון הנכון. כלל הבחירה בין $a$ ל‑ $b$ שרירותי ואין צורך לציין אותו (אפשר "הראשון בגרף").
ReductionsNP-completenessProof techniqueGraph problems
What was said on the recording (1)
- אז נבנה קבוצה U מוחלת בV באופן הבא
  76U7Dga6LFI @ 01:18:11
TheoremRememberL18·24
Theorem: DOMINATING-SET is NP-complete
DOMINATING-SET היא NP-שלמה. השייכות ל‑ $\mathrm{NP}$ : בהינתן קבוצה, בודקים דטרמיניסטית בזמן פולינומי שהיא שלטת (עוברים על כל קודקוד ובודקים שהוא בקבוצה או שיש לו שכן בה). ה‑NP-קשיות: רדוקציית זמן פולינומי מ‑VERTEX-COVER.
$\text{VC}\ \le_p\ \text{DS}$
הרדוקציה: על קלט $\langle G,K\rangle$ — לכל קשת $\{x,y\}\in E$ מוסיפים קודקוד חדש $v_{xy}$ ומחברים אותו ב‑ $x$ וב‑ $y$ ; מוחקים קודקודים מבודדים; מחזירים $\langle \hat G, K\rangle$ .
NP-completenessReductionsGraph problems
What was said on the recording (1)
- לכן האלגוריתם מהווה רדוקציית זמן פולינומי מורטקס cover לד dominating set
  76U7Dga6LFI @ 01:27:57
RuleRememberL18·25
The format of a reduction proof
האלגוריתם לא יודע ולא בונה את הפתרון. בהוכחת הנכונות מניחים "נניח $\langle G,K\rangle\in\text{VC}$ , אז קיימת $U$ …" — מקבלים את הפתרון "מהשמיים" — ורק אז בונים ממנו פתרון לבעיה השנייה. זה הפורמט של כל הוכחת רדוקציה.
בדיוק כמו ברדוקציה מ‑SAT ל‑3SAT: האלגוריתם רק שיחק עם הפסוקיות; ההוכחה לקחה הצבה מספקת לנוסחה המקורית ובנתה ממנה הצבה לנוסחה החדשה.
ReductionsProof techniqueNP-completenessExam
What was said on the recording (1)
- את u כובע קיבלתי מהשמיים
  76U7Dga6LFI @ 01:30:35
Lecture 19
RuleRememberL19·1
Expectation is a weak measure — the holy grail is high probability
תוחלת היא מדד מאוד חלש — בדיוק בגלל שהיא כל כך מתירנית (ליניאריות ללא תנאים). בדרך כלל לא מסתפקים בתוחלת: רוצים שמשהו יקרה בהסתברות גבוהה.
"אני עם רגל אחת בדלי מים רותחים ורגל אחת בדלי מים קרים — בתוחלת אני בסדר." ידיעה ש‑ $\mathbb{E}[X]=\tfrac78 m$ אינה מבטיחה שיש הסתברות סבירה לקבל הצבה כזו.
ProbabilityRandomizationExam
What was said on the recording (1)
- אני בדרך כלל לא אסתפק בתוחלת אוקיי אני ארצה ההולי גרייל זה הסתברות גבוהה
  kSAC4Q0ZRF4 @ 00:02:07
Exam guidanceL19·2
Analyze the expectation first — it's a sanity check
כשמנתחים אלגוריתם אקראי — בודקים קודם כל את התוחלת: אם התוחלת לא עובדת כמו שצריך, כנראה שהכיוון לא נכון וצריך לחשב מסלול מחדש.
יש מקרים מיוחדים שבהם התוחלת לא מסתדרת ובכל זאת אפשר לומר משהו בהסתברות גבוהה — אבל הם נדירים.
ProbabilityRandomizationProof techniqueExam
What was said on the recording (1)
- כשאני בא לנתח אלגוריתמים הקראיים אני אבדוק קודם כל את התוחלת
  kSAC4Q0ZRF4 @ 00:02:38
TheoremRememberL19·3
Markov's inequality
יהי $X$ משתנה מקרי אי־שלילי בעל תוחלת. אז לכל $a>0$ : $\Pr\big[X\ge a\cdot\mathbb{E}[X]\big]\le \frac{1}{a}$ .
$X\ge 0,\ \forall a>0:\quad \Pr\big[X\ge a\cdot\mathbb{E}[X]\big]\le \frac1a$
מרקוב מקשר בין תוחלת להסתברות: אם $\mathbb{E}[X]=3$ , אז $\Pr[X\ge 6]\le\tfrac12$ (כי $6=2\mathbb{E}[X]$ ). כלומר " $X$ ברוב הזמן לא יכול להיות גדול מדי". דורש רק אי־שליליות ותוחלת.
ProbabilityRandomizationFoundations
What was said on the recording (1)
- אי שוויון מרקוב מקשר בין ההסתברות שמשתנה לקבל ערכים גדולים לבין התוחלת שלו
  kSAC4Q0ZRF4 @ 00:05:54
TheoremL19·4
Chebyshev's inequality
לכל $a>0$ : $\Pr\big[\,|X-\mathbb{E}[X]|\ \ge\ a\cdot\sqrt{\mathrm{Var}(X)}\,\big]\ \le\ \frac{1}{a^2}$ — כאשר $\sqrt{\mathrm{Var}(X)}$ היא סטיית התקן.
$\Pr\big[|X-\mathbb{E}[X]|\ge a\sigma\big]\le \frac{1}{a^{2}}$
צ'בישב חוסם את ההסתברות ש‑ $X$ רחוק מהתוחלת (לשני הכיוונים), נותן חסם טוב יותר ממרקוב ( $\frac{1}{a^2}$ שואף מהר יותר ל‑ $0$ ) — אבל דורש יותר: שונות.
ProbabilityFoundations
What was said on the recording (1)
- ההסתברות שהמרחק של x מהתוחלת שלו גדול מaפול שורש השונות
  kSAC4Q0ZRF4 @ 00:08:02
- לא בחומר הקורס — "אתם לא צריכים לדעת אותו לקורס הזה, אבל כן צריכים לדעת שהוא קיים."
RuleL19·5
Trade-off: a stronger bound demands more
אי־השוויון הזה נותן חסמים טובים יותר — אבל גם דורש יותר. מרקוב דורש רק אי־שליליות ותוחלת; צ'בישב דורש גם שונות. זה הטרייד־אוף הקבוע בין כוח החסם לתנאיו.
מדדים סטטיסטיים (שונות, סטיית תקן, קורלציה) הם מדדי פיזור — הם לבדם לא נותנים הסתברות; צריך אי־שוויון שיתרגם אותם להסתברות.
ProbabilityProof technique
What was said on the recording (1)
- אז הA שוויון הזה נותן חסמים טובים יותר מה שוויון הזה אבל גם דורש יותר
  kSAC4Q0ZRF4 @ 00:09:07
Proof techniqueRememberL19·6
Markov is one-directional — so switch to the complementary variable
מרקוב חוסם רק את ההסתברות ש‑ $X$ גדול. כשרוצים להראות ש‑ $X$ גדול בהסתברות גבוהה — מגדירים את המשתנה ההפוך, כאן $Y=m-X$ (מספר הפסוקיות ש‑ $V$ אינה מספקת), ומראים ש‑ $Y$ קטן בהסתברות גבוהה.
$Y=m-X,\qquad \mathbb{E}[Y]=\tfrac{m}{8}$
$Y$ אי־שלילי (כי תמיד $X\le m$ ) ובעל תוחלת $\mathbb{E}[Y]=m-\tfrac78m=\tfrac{m}{8}$ — ולכן הוא מקיים את תנאי מרקוב.
ProbabilityProof techniqueRandomizationExam
What was said on the recording (1)
- אנחנו נחסום את m - x כי זה משתנה שאני רוצה שלא יהיה גדול מדי
  kSAC4Q0ZRF4 @ 00:18:24
Exam guidanceL19·7
Work in draft, present the ready-made constant
בטיוטה מנסים ערכי $a$ ורואים מה מסתדר. בהוכחה עצמה מציגים את ה‑ $a$ שנבחר ומצטטים את הטענה — "אנחנו לא מצטטים טענה לכל דבר". מה שנכתב על הלוח כדי להסביר את מהלך המחשבה הוא טיוטה, לא ההוכחה.
ExamProof technique
What was said on the recording (1)
- בסוף ההוכחה אני אביא את A
  kSAC4Q0ZRF4 @ 00:21:00
- בתמלול "תיוטה" — הכוונה טיוטה.
PitfallRememberL19·8
Algebra doesn't flip the inequality — logical negation does
מעבר ל" $1-$ " (מאורע משלים) הוא אלגברה — האי־שוויון נשאר חלש: מ‑ $\Pr[A]>\alpha$ מקבלים $\Pr[\bar A]<1-\alpha$ . לעומת זאת שלילה לוגית של תנאי ("לא $\ge$ " $\Rightarrow$ " $<$ ") כן משנה את סוג האי־שוויון.
"פה זה אלגברה — האלגברה לא משנה את האי־שוויון; המשלים הלוגי כן משנה."
ProbabilityProof techniqueQuantifiersExam
What was said on the recording (1)
- פה זה אלגברה האלגברה לא משנה את האי שוויון המשלים הלוגי כן משנה
  kSAC4Q0ZRF4 @ 00:38:39
ClaimRememberL19·9
A random assignment satisfies $7/8$ of the clauses w.p. $\ge 4/(m+4)$
עבור נוסחת E3CNF עם $m$ פסוקיות, ההצבה האקראית מקיימת $\Pr\big[X\ge \tfrac78 m\big]\ \ge\ \frac{4}{m+4}=\Theta\!\left(\frac1m\right)$ .
$\Pr\Big[X\ge \tfrac78 m\Big]\ \ge\ \frac{4}{m+4}$
הוכחה: מרקוב על $Y=m-X$ עם $a=\frac{m+4}{m}$ נותן $\Pr\big[Y>\tfrac m8+\tfrac12\big]<\frac{m}{m+4}$ ; לפי טריק השלמות $\Pr\big[Y\le \tfrac m8\big]>\frac{4}{m+4}$ , ולכן $\Pr\big[X\ge\tfrac78m\big]>\frac{4}{m+4}$ . הסתברות גרועה — אבל היא חסם הסתברותי אמיתי, וזה המעבר הקשה.
ProbabilitySATRandomizationApproximation
What was said on the recording (1)
- לכן ההסתברות שy קטן שווה m חלקי8 היא גדולה אם אני אסדר את זה זה 4 חלקי ‏m+ 4
  kSAC4Q0ZRF4 @ 00:39:11
Proof techniqueL19·10
The amplified MAX-E3SAT algorithm
בהינתן $\varphi$ בצורת E3CNF: חוזרים על דגימת ההצבה $T$ פעמים באופן בלתי תלוי ומחזירים את ההצבה המספקת מספר מקסימלי של פסוקיות. זמן הריצה הוא $O(T\cdot|\varphi|)$ .
$O(T\cdot|\varphi|)$
גם דגימת הצבה וגם ספירת הפסוקיות המסופקות הן ליניאריות באורך הנוסחה. שימו לב שכעת נדרשת גם בדיקה (קודם רק דגמנו).
RandomizationSATApproximationTime
What was said on the recording (1)
- אז הזמן ריצה הוא סדר גודל של t כפול האורך של הנוסחה
  kSAC4Q0ZRF4 @ 00:47:12
Proof techniqueRememberL19·11
The max is below $c$ iff all are — that's how you get an AND
$\max_j X_j < c \iff \forall j:\ X_j<c$ . זהו "לכל", שמתרגם ל**"וגם"** — ולכן אפשר להפעיל אי־תלות ולכפול הסתברויות.
$\Pr\big[\max_j X_j < c\big]=\prod_{j=1}^{T}\Pr[X_j<c]$
"קיים" לא עובד כאן: המאורעות אינם זרים (אז אי אפשר לסכום), ו"קיים" מתחבר ל"או" — שאי־תלות לא עוזרת לו. תמיד מכוונים ל"לכל".
ProbabilityProof techniqueQuantifiersExam
What was said on the recording (1)
- המקסימום קטן ממש אם ורק אם כולם קטנים
  kSAC4Q0ZRF4 @ 00:52:45
ClaimRememberL19·12
$T=\Theta(m\log m)$ runs give failure probability $\le 1/m$
$\Pr\big[X<\tfrac78m\big]\le\left(1-\frac{4}{m+4}\right)^{T}\le e^{-\frac{4T}{m+4}}$ . כדי שזה יהיה $\le\frac{1}{100}$ צריך $T\ge\frac{m+4}{4}\ln 100$ ; כדי שזה יהיה $\le\frac1m$ צריך $T=\Theta(m\ln m)$ — ועדיין פולינומי.
$T\ \ge\ \frac{m+4}{4}\ln m\ \Longrightarrow\ \Pr\big[X<\tfrac78m\big]\le \tfrac1m$
כשמכפילים במינוס — האי־שוויון מתהפך, אז לבודד את $T$ בזהירות. " $\frac{1}{100}$ " שרירותי לגמרי: מה שמקובל תלוי במשימה — למסלול חלוקת עיתונים זה בסדר, לניתוח כירורגי פחות.
RandomizationProbabilityAsymptoticsApproximation
What was said on the recording (1)
- זה סדר גודל של תטא m לן m פעמים אני יכול לקבל הסתברות מאוד מאוד קטנה לכישלון
  kSAC4Q0ZRF4 @ 00:56:29
Proof techniqueRememberL19·13
The integrality trick: an integer below $c+\frac12$ is below $c$
$Y$ מקבל רק ערכים שלמים, ולכן $Y\le \frac{m}{8}+\frac12 \iff Y\le\frac{m}{8}$ . "אם יש לי מספר שלם שקטן שווה מ‑ $3.5$ — אני יודע שהוא קטן שווה מ‑ $3$ ."
$Y\in\mathbb{Z}\ \Longrightarrow\ \Big(Y\le \tfrac{m}{8}+\tfrac12 \iff Y\le \tfrac{m}{8}\Big)$
בלי הטריק, מרקוב על $a=1$ בדיוק היה נותן חסם טריוויאלי ( $\le 1$ ). מגדילים את הסף טיפה — מספיק כדי לקבל $a>1$ , אבל לא מספיק כדי "לזלוג" לשלם הבא. "זה קצת רמאות." גודל התוספת שרירותי (חצי, שמינית) — הוא רק משנה קבועים.
ProbabilityCombinatoricsProof techniqueExam
What was said on the recording (1)
- אם אני אומר לך שיש לי מספר שלם שקטן שווה מ3 וחצי מה אתה יודע שהוא קטן שווה 3
  kSAC4Q0ZRF4 @ 00:59:13
RuleRememberL19·14
With one-sided error, any $1/\mathrm{poly}$ probability is enough
בטעות חד־צדדית, גם הסתברות הצלחה של $\frac{1}{\text{poly}(m)}$ היא "home free" — כי אפשר להריץ $\text{poly}(m)$ פעמים ולהגיע לכל הסתברות שרוצים, ועדיין להישאר בזמן פולינומי.
לכן העבודה הקשה היא לתרגם תוחלת לחסם הסתברותי כלשהו; משם משפט ההגברה עושה את השאר.
RandomizationProbabilityComplexity classesExam
What was said on the recording (1)
- בטעות חד צדדית גם טעות שהיא אחת חלקי פולינום בm היא תהיה לי מספיק טובה
  kSAC4Q0ZRF4 @ 01:00:16
RuleRememberL19·15
Why Markov is the right tool here
כשמריצים הרבה ולוקחים את המקסימום, הטעות היחידה האפשרית היא להשיג פחות מהמקסימום — טעות לכיוון אחד. מרקוב חוסם רק כיוון אחד, ולכן הוא הכלי הנכון לבעיה הזאת.
אילו רצינו לקלוע בדיוק לערך מסוים (ולא "לפחות"), היינו יכולים לטעות לשני הכיוונים — ואז מרקוב לבדו לא היה מספיק.
RandomizationProbabilityApproximationProof technique
What was said on the recording (1)
- לכן ישיב מרקוב הוא כלי נכון לבעיה הזאת
  kSAC4Q0ZRF4 @ 01:01:21
DefinitionRememberL19·16
Derandomization — what it is and what it costs
דה־רנדומיזציה: לוקחים משהו אקראי והופכים אותו למשהו שאינו אקראי. את אותם ביצועים משיגים בוודאות, פחות או יותר באותו זמן ריצה — המחיר הוא אלגוריתם קצת יותר מורכב (ולעיתים עוד מקום).
"הסתברות זה נחמד, אבל אני רוצה בוודאות. אני רוצה שלא תהיה הסתברות לטעות."
RandomizationProof techniqueComplexity classes
What was said on the recording (1)
- דרנדומיזציה אני לוקח והופך משהו אקראי ל משהו שהוא לא הקר
  kSAC4Q0ZRF4 @ 01:04:30
Proof techniqueRememberL19·17
The method of conditional expectations — build the assignment greedily
בונים את ההצבה $V$ בהדרגה, משתנה אחר משתנה. בכל שלב מחשבים את שתי התוחלות המותנות ובוחרים את הענף עם התוחלת הגדולה יותר, כך שנשמרת התכונה שהתוחלת המותנית $\ge \tfrac78 m$ לאורך כל המסלול.
$\mathbb{E}\big[X\mid V(x_1),\dots,V(x_i)\big]\ \ge\ \tfrac78 m\quad \text{for all } i$
בסוף, כשכל המשתנים הוצבו, התוחלת המותנית היא מספר הפסוקיות שההצבה מספקת — ולכן היא $\ge\tfrac78m$ . "אני תמיד במסלול שבו התוחלת גדולה שווה $\tfrac78$ ."
RandomizationProof techniqueSATApproximation
What was said on the recording (1)
- לשמור על התכונה שקיימת הסמה המספקת לפחות שבע שמיניות מהאסגרים
  kSAC4Q0ZRF4 @ 01:06:10
ClaimRememberL19·18
The law of total expectation
אם מחלקים את העולם למקרים: $\mathbb{E}[X]=\mathbb{E}\big[X\mid V(x_1)=T\big]\cdot\Pr[V(x_1)=T]\ +\ \mathbb{E}\big[X\mid V(x_1)=F\big]\cdot\Pr[V(x_1)=F]$ .
$\mathbb{E}[X]=\sum_{i}\mathbb{E}[X\mid A_i]\cdot\Pr[A_i]$
כאן שתי ההסתברויות הן $\tfrac12$ , ולכן $\mathbb{E}[X]=\frac{\mathbb{E}[X\mid V(x_1)=T]+\mathbb{E}[X\mid V(x_1)=F]}{2}=\tfrac78 m$ — כלומר ממוצע של שתי התוחלות המותנות.
ProbabilityFoundationsProof technique
What was said on the recording (1)
- נוסחה לתוכלת השלמה בעצם אומרת שאם אני מחלק את העולם למקרים
  kSAC4Q0ZRF4 @ 01:08:23
RuleRememberL19·19
Computing the conditional expectation requires nothing random
כדי לחשב את התוחלות המותנות אין צורך לבצע שום דבר אקראי — זה חישוב דטרמיניסטי וליניארי: לכל פסוקית, אם היא כבר מסופקת היא תורמת $1$ ; אחרת, אם נשארו בה $k$ ליטרלים חופשיים, היא תורמת $1-2^{-k}$ .
$\mathbb{E}[X\mid V_{\text{partial}}]=\sum_{c}\Big(1-2^{-k_c}\Big)$
"אני רק סופר: אם יש לי אחד — ההסתברות היא אחת; אם יש אפס — אני סופר כמה משתנים נשארו." זו הנקודה שהופכת את הרעיון ההסתברותי לאלגוריתם דטרמיניסטי.
RandomizationProof techniqueSATApproximation
What was said on the recording (1)
- כדי לחשב את התוחלות האלה, האם אני באמת צריך לבצע משהו אחראי
  kSAC4Q0ZRF4 @ 01:13:14
RuleRememberL19·20
The averaging argument: if the average is $c$ , one of them is at least $c$
אם $\frac{a+b}{2}=c$ אז $a\ge c$ או $b\ge c$ . לכן לפחות אחת מהתוחלות המותנות מקיימת $\mathbb{E}\big[X\mid V(x_1)=\cdot\big]\ \ge\ \tfrac78 m$ .
$\frac{a+b}{2}=c\ \Longrightarrow\ a\ge c\ \vee\ b\ge c$
זה הצעד שהופך את השיטה ההסתברותית לאלגוריתם דטרמיניסטי: תמיד קיים ענף אחד ש"שומר" את התוחלת.
ProbabilityCombinatoricsProof techniqueExam
What was said on the recording (1)
- אם הממוצע שווה לשבע שמיניות אחד מהגדול שווה משבע שמיניות
  kSAC4Q0ZRF4 @ 01:14:34
ClaimRememberL19·21
The derandomized algorithm is quadratic — you don't walk the whole tree
לא רצים על כל העץ ולא עוברים על כל $2^n$ האפשרויות — בכל רמה מחשבים שני ענפים ובוחרים אחד. לכן מספר האיטרציות הוא מספר המשתנים, כל איטרציה ליניארית, וסך הכול $O(n\cdot|\varphi|)=O(|\varphi|^2)$ .
$O(n\cdot|\varphi|)\subseteq O(|\varphi|^{2})$
מספר המשתנים אינו גדול מאורך הנוסחה, ולכן זמן הריצה ריבועי באורך הנוסחה.
RandomizationTimeSATApproximation
What was said on the recording (1)
- אני לא רץ על כל העץ אני לא עובר על כל השתיים באין אפשרויות
  kSAC4Q0ZRF4 @ 01:22:59
RuleRememberL19·22
Why exactly three literals is required
הדרישה "בדיוק שלושה ליטרלים ממשתנים שונים" נחוצה כדי לחשב שכל פסוקית מסופקת בהסתברות בדיוק $\tfrac78$ . אילו היה "לכל היותר שלושה", החסם הטוב ביותר היה $\tfrac12$ — כי ייתכן שיש פסוקית עם ליטרל בודד.
שאלה שנשארה למחשבה: אחרי שקובעים משתנים, הנוסחה כבר אינה E3CNF — למה זה בכל זאת בסדר?
SATProbabilityApproximationExam
What was said on the recording (1)
- חצי כי יכול להיות שיש לייטרל אחד ואז זה חצי
  kSAC4Q0ZRF4 @ 01:25:37
Lecture 20
TheoremRememberL20·1
Theorem: a deterministic algorithm achieving 7/8 of the clauses
עבור נוסחה $\varphi$ בצורת E3CNF, האלגוריתם (שיטת התוחלות המותנות) מחזיר הצבה $V$ המספקת לפחות $\tfrac78$ מהפסוקיות — והוא דטרמיניסטי, בזמן ריצה ריבועי באורך הנוסחה.
$O(|\varphi|^{2})$
כל איטרציה דורשת מעבר על כל הפסוקיות (ליניארי) ויש מספר ליניארי של איטרציות. למרות שבניסוח מופיעים "הצבה הנדגמת באקראי", "משתנה מקרי" ו"תוחלת" — האלגוריתם עצמו אינו דוגם דבר; לחשב את התוחלת אפשר דטרמיניסטית.
RandomizationSATApproximationTime
What was said on the recording (1)
- האלגוריתם מחזיר הסמה מה V המספקת לפחות שבע שמיניות מהסרט
  koSjQFBe9RE @ 00:08:02
RuleRememberL20·2
"Exactly three literals" is needed only as the base case
אחרי איטרציה אחת הנוסחה כבר אינה E3CNF — וזה בסדר: את הדרישה "בדיוק שלושה" הייתי צריך רק בשביל התוחלת שמתחילה, בשביל תנאי ההתחלה. מכאן והלאה החסם $\tfrac78 m$ נובע בכל איטרציה מהאיטרציה הקודמת, באינדוקציה.
זו התשובה לשאלה שנשארה מהשיעור הקודם. שימו לב: הקבוע שהוצב במקום המשתנה אינו ליטרל — הוא קבוע.
SATApproximationProof techniqueExam
What was said on the recording (1)
- את השלוש אקזקט הייתי צריך רק בשביל התוחלת שמתחילה, בשביל תנאי התחלה
  koSjQFBe9RE @ 00:23:17
RuleRememberL20·3
At the last iteration the random variable is a constant
אחרי שנקבעו ערכים לכל המשתנים, המשתנה המקרי הוא פונקציה קבועה — "משתנה מקרי מנוון". אם למשתנה מקרי קבוע יש תוחלת $\ge\tfrac78 m$ , אז הערך היחיד שהוא מקבל הוא $\ge\tfrac78 m$ — וזה בדיוק ההצבה שהאלגוריתם מחזיר.
$X \equiv c\ \wedge\ \mathbb{E}[X]\ge t\ \Longrightarrow\ c\ge t$
זה הצעד שהופך את שרשרת התוחלות המותנות לתוצאה ודאית.
ProbabilityProof techniqueApproximationRandomization
What was said on the recording (1)
- אז אם יש לי משתנה מקרי קבוע והתוחלת שלו היא לפחות שבע שמיניות m
  koSjQFBe9RE @ 00:27:06
- בתמלול "מנוו" — הכוונה מנוון (degenerate).
TheoremRememberL20·4
Main theorem: $\mathrm{NP}\subseteq\mathrm{BPP}\Rightarrow \mathrm{NP}\subseteq\mathrm{RP}$
אם $\mathrm{NP}\subseteq\mathrm{BPP}$ אז $\mathrm{NP}\subseteq\mathrm{RP}$ .
$\mathrm{NP}\subseteq\mathrm{BPP}\ \Longrightarrow\ \mathrm{NP}\subseteq\mathrm{RP}$
המשמעות: אם לכל בעיה ב‑ $\mathrm{NP}$ יש אלגוריתם הסתברותי עם טעות דו־צדדית — אז לכל בעיה ב‑ $\mathrm{NP}$ יש אלגוריתם הסתברותי עם טעות חד־צדדית. ההבדל בין $\mathrm{BPP}$ ל‑ $\mathrm{RP}$ אינו ה‑ $\tfrac23$ (ראינו שהוא ניתן לשינוי) אלא חד־צדדיות הטעות.
RandomizationNPComplexity classes
What was said on the recording (1)
- אז הנה הטענה המרכזית שלנו אם NP מוכל בBP
  koSjQFBe9RE @ 00:29:48
Exam guidanceRememberL20·5
An inclusion claim must begin with "for all", not "there exists"
כשמוכיחים הכלה ( $C_1\subseteq C_2$ ) — ההוכחה חייבת להתחיל ב"תהי $A\in C_1$ " / "לכל", ולעולם לא ב"קיים". "ברגע שתצייתו לתבנית, הסיכוי שלכם לטעות יורד משמעותית."
ExamProof techniqueQuantifiersComplexity classes
What was said on the recording (1)
- אבל כשהטענה היא טענת החלה זה חייב להתחיל במה
  koSjQFBe9RE @ 00:30:20
Exam guidanceRememberL20·6
Work with the syntax first — intuition comes later
"תתחילו מההבדל התחבירי. תמיד תעבדו קודם כל עם התחביר — תחביר זה משהו שאני יכול לשלוט בו; אינטואיציה לא כל כך." כשקשה — חוזרים לתחביר; זה מה שמגן עלינו.
"הפורמליזם הוא לא כאן בגלל שזו ההתנהגות הנכונה — הפורמליזם כאן כדי לשמור עלינו מטעויות." אינטואיציה היא שלב ביניים שתפקידו לגרום לנו להרגיש נוח — לא מתחילים ממנה ולא מסיימים בה.
ExamProof techniqueFoundations
What was said on the recording (1)
- תתחילו מההבדל התחבירי. תמיד תעבדו קודם כל עם התחביר. תחביר זה משהו שאני יכול לשלוט בו
  koSjQFBe9RE @ 00:32:24
ClaimRememberL20·7
$\mathrm{NP}\subseteq\mathrm{BPP}\iff \mathrm{SAT}\in\mathrm{BPP}$
שתי הטענות שקולות. כיוון אחד מיידי (SAT $\in\mathrm{NP}$ , תורת הקבוצות). הכיוון השני: לכל $A\in\mathrm{NP}$ יש רדוקציה ל‑SAT (כי SAT היא NP-קשה), ו‑ $\mathrm{BPP}$ סגורה לרדוקציות זמן פולינומי — ולכן $A\in\mathrm{BPP}$ .
$\mathrm{SAT}\in\mathcal{C},\ \mathcal{C} \text{ closed under reductions}\ \Longrightarrow\ \mathrm{NP}\subseteq\mathcal{C}$
שימו לב מה נדרש בכל כיוון: לכיוון " $\mathrm{SAT}\in\mathrm{BPP}\Rightarrow \mathrm{NP}\subseteq\mathrm{BPP}$ " מספיקה NP-קשיות; לכיוון ההפוך צריך ש‑SAT תהיה ב‑NP — ולכן ביחד נדרשת NP-שלמות. אותו טיעון עובד לכל מחלקה סגורה לרדוקציות (למשל $\mathrm{RP}$ ).
ReductionsNP-completenessRandomizationComplexity classes
What was said on the recording (1)
- סת בBP וBP סגורה ביחס לרדוקציה זמן פולינומי לכן A בBP
  koSjQFBe9RE @ 00:38:12
Exam guidanceRememberL20·8
Don't skip the obvious — write it down
כשמשהו נראה ברור, אנחנו נוטים לזרוק אותו הצידה ולא להתייחס אליו — אל תעשו את זה. "לפעמים לכתוב את המשפט הזה עוזר, כי זה מכריח אותי להתקדם והופך את המחשבה לבהירה יותר."
ExamProof technique
What was said on the recording (1)
- לא להתעלם ממנו, לכתוב אותו עדיין
  koSjQFBe9RE @ 00:42:21
TheoremRememberL20·9
Self-reducibility of SAT: decision implies search
אם קיים אלגוריתם זמן־ריצה פולינומי ל‑SAT, אז קיים אלגוריתם זמן־ריצה פולינומי לגרסת החיפוש של SAT — כלומר להחזיר הצבה מספקת בפועל (או לדווח שאין).
$\mathrm{SAT}\in\mathrm{P}\ \Longrightarrow\ \mathrm{SEARCH\text{-}SAT}\in\mathrm{P}$
התכונה נקראת self-reducibility. זו אינה רדוקציית מיפוי — רדוקציות מיפוי מוגדרות בין בעיות הכרעה, ובעיית חיפוש אינה בעיית הכרעה. הכיוון ההפוך (חיפוש $\Rightarrow$ הכרעה) טריוויאלי.
SATReductionsPNP-completeness
What was said on the recording (1)
- אם קיים אלגוריתם זמן ריצה פולינומי עבורסט אז
  koSjQFBe9RE @ 00:43:56
RuleRememberL20·10
Not all NP-complete problems look alike
ברזולוציה של NP-קשיות כולן נראות זהות — אבל הן לא. יש הבדלים רבים: self-reducibility ידועה ל‑SAT אך פתוחה לחלק מהבעיות ה‑NP-שלמות; וקירוב — TSP לא ניתנת לקירוב (אלא אם $\mathrm{P}=\mathrm{NP}$ ) בעוד Vertex-Cover ניתנת לקירוב $2$ .
NP-completenessApproximationComplexity classes
What was said on the recording (1)
- לא כל הבעיות הNP שלמות נראות אותו דבר
  koSjQFBe9RE @ 00:46:39
Proof techniqueRememberL20·11
Forcing a variable's value — add a unit clause
כדי לכפות שכל הצבה מספקת תיתן ל‑ $x_i$ ערך אמת — מוסיפים לנוסחה פסוקית באורך אחד: $(x_i)$ או $(\neg x_i)$ . לא מציבים ולא מעלימים את המשתנה. התוצאה עדיין נוסחת CNF.
$\varphi\ \mapsto\ \varphi\wedge(x_i)\quad\text{or}\quad \varphi\wedge(\neg x_i)$
זו הדרך השנייה (הראשונה הייתה הצבה־והעלמה). כאן נבחרה בכוונה: "אני לא רוצה להקטין את הנוסחה ואני לא רוצה להקטין את מספר המשתנים." ברמה התחבירית — כופים על ההצבה המספקת לעשות משהו.
SATReductionsProof technique
What was said on the recording (1)
- אני לא רוצה לשנות, אני לא רוצה להקטין את הנוסחה ואני לא רוצה להקטין את מספר המשתנים
  koSjQFBe9RE @ 00:50:57
ClaimRememberL20·12
The loop invariant: a partial assignment with a satisfying completion
בסיום כל איטרציה $i$ : $V$ היא הצבה חלקית, וקיימת הצבה מספקת ל‑ $\varphi$ שמשלימה אותה. מוכיחים באינדוקציה. בסיום הריצה $V$ מלאה, ולכן היא עצמה מספקת.
השלמה של פונקציה: $\hat V$ היא השלמה של $V$ אם היא מוגדרת על כל המשתנים ומחזירה אותו ערך בכל מקום שבו $V$ מוגדרת; על השאר אינה מחויבת לדבר.
SATProof techniqueFoundationsReductions
What was said on the recording (1)
- בסיום האיטרציה ה v היא הסמה חלקית
  koSjQFBe9RE @ 00:57:42
ClaimL20·13
The formula length at most doubles
מוסיפים לכל היותר $n$ פסוקיות באורך אחד, והמשתנים שבהן כבר הופיעו ב‑ $\varphi$ — לכן $|\hat\varphi|\le 2|\varphi|$ .
$|\hat\varphi|\le 2|\varphi|,\qquad O(|\varphi|^{c+1})$
אם $M$ רצה ב‑ $O(|\varphi|^{c})$ , אז $\hat M$ מריצה אותה לכל היותר $|\varphi|$ פעמים ולכן רצה ב‑ $O(|\varphi|^{c+1})$ — עדיין פולינומי.
SATReductionsTimeAsymptotics
What was said on the recording (1)
- אז אני לא הגדלתי יותר מפי ש2
  koSjQFBe9RE @ 01:04:11
Exam guidanceRememberL20·14
State a claim with the weakest hypothesis and strongest conclusion
"כשאני מנסח statement, אני אנסה לדאוג שהתנאי יהיה כמה שיותר חלש והתוצאה תהיה כמה שיותר חזקה." גם אם מתמטית זה שקול — הניסוח נראה חזק יותר, ו"גם דירוג זה חשוב".
לכן ניסחנו "אם SAT $\in\mathrm{BPP}$ אז $\mathrm{NP}$ $\subseteq\mathrm{RP}$ " ולא "אם $\mathrm{NP}\subseteq\mathrm{BPP}$ אז $\mathrm{SAT}\in\mathrm{RP}$ ".
ExamProof techniquenotation
What was said on the recording (1)
- אז כשאני אנסחסיטמנט אני אנסה לדאוג שהתנאי יהיה כמה שיותר יותר חלש והתוצאה תהיה כמה שיותר חזקה
  koSjQFBe9RE @ 01:07:07
RuleL20·15
Pick the model that matches the endpoints of the transition
עוברים מ‑ $\mathrm{BPP}$ ל‑ $\mathrm{RP}$ — כלומר מאקראית לאקראית — ולכן אין סיבה לעבור דרך מכונה דטרמיניסטית. אילו היינו עוברים בין מחלקה אקראית לדטרמיניסטית, היה נכון להתחיל מהמודל הדטרמיניסטי.
RandomizationModel robustnessProof techniqueExam
What was said on the recording (1)
- אני ארצה לעבור ממכונה אקראית למכונה אקראית ולכן אין סיבה לעבור דרך דטרמיניסטית
  koSjQFBe9RE @ 01:08:42
Exam guidanceL20·16
Mark the arbitrary constants in your proof
ה‑ $\tfrac23$ שכתבתם בתחילת ההוכחה הוא שרירותי. כשמתחילים לרשום הוכחה — כדאי לסמן את זה, כי ייתכן שבהמשך תרצו לשנות אותו, ואז תזכרו איפה שמתם משהו שרירותי.
בדיוק כך קרה כאן: בסוף ההוכחה נדרש היה להחליף את $\tfrac23$ ב‑ $1-\frac{1}{2(n+1)}$ .
ExamProof techniqueRandomization
What was said on the recording (1)
- כשאני מתחיל לרשום הוכחה כדאי לזכור את זה כי יכול להיות שאני ארצה לשנות את זה
  koSjQFBe9RE @ 01:10:24
RuleRememberL20·17
Same text, different algorithm — the difference is context
האלגוריתם האקראי כתוב מילה במילה כמו הדטרמיניסטי; ההבדל אינו בתחביר אלא בקונטקסט — שם $M$ הייתה מכונה דטרמיניסטית, כאן $M$ היא מכונה אקראית, ולכן כל האלגוריתם אקראי.
"אקראי" ו"אי־דטרמיניסטי" הם דברים שונים: אי־דטרמיניסטי זה כשהמכונה בוחרת בעצמה ואיני יודע איך.
RandomizationNondeterminismExam
What was said on the recording (1)
- ההבדל פה הוא לא בתחביר אלא בקונטקסט
  koSjQFBe9RE @ 01:15:20
Proof techniqueRememberL20·18
A deterministic verification step at the end gives one-sided error
מחזירים "כן" רק אחרי שבודקים בעצמנו שההצבה מספקת את $\varphi$ — ולכן אין false positive: אם $\varphi$ אינה ספיקה, שום הצבה שתגיע ליד לא תספק אותה, ולא משנה איך התקבלה. הטעות היחידה האפשרית היא false negative.
"It all boils down" לשלב האימות: נתקו אותו משאר האלגוריתם — יש לי הצבה ביד, אם היא מספקת אני מקבל, אחרת דוחה. זה הופך את כל האלגוריתם ל‑ $\mathrm{RP}$ .
RandomizationComplexity classesSATProof technique
What was said on the recording (1)
- אני מחזיר כן רק שאני יודע בוודאות שזה צריך להיות כן
  koSjQFBe9RE @ 01:16:21
Proof techniqueRememberL20·19
Bound a hard event via a stronger event contained in it
נסמן $A$ = " $\hat M$ מקבלת את $\varphi$ ", ו‑ $B$ = " $M$ צדקה בכל אחת מההרצות שלה". אז $B\subseteq A$ ולכן $\Pr[A]\ge\Pr[B]$ — ומספיק לחסום מלמטה את $\Pr[B]$ .
$B\subseteq A\ \Longrightarrow\ \Pr[A]\ge\Pr[B]$
$B$ הוא תנאי חזק בהרבה (ייתכן ש‑ $\hat M$ תקבל למרות טעויות בדרך). אבל אם $M$ צדקה בכל ההרצות — זה בדיוק כמו האלגוריתם הדטרמיניסטי שכבר ניתחנו, ולכן בהכרח תיבנה הצבה מספקת.
ProbabilityRandomizationProof techniqueExam
What was said on the recording (1)
- אז b מוכל בa ולכן ההסתברות של b
  koSjQFBe9RE @ 01:22:40
RuleRememberL20·20
There are far more tools for upper-bounding a probability
כשרוצים לחסום הסתברות מלמטה — חוסמים את הסתברות המשלים מלמעלה. בהסתברות יש הרבה יותר כלים לחסימה מלמעלה (מרקוב, חסם האיחוד, …).
$\Pr[B]\ge 1-\Pr[\bar B]$
ProbabilityProof techniqueExam
What was said on the recording (1)
- יש לי הרבה יותר כלים לחסום הסתברות מלמעלה
  koSjQFBe9RE @ 01:31:30
Proof techniqueRememberL20·21
De Morgan plus the union bound over the $n+1$ runs
$B=\bigcap_{i=0}^{n} B_i$ (" $M$ צדקה באיטרציה $i$ "), ולכן לפי דה־מורגן $\bar B=\bigcup_i \bar B_i$ , ולפי חסם האיחוד $\Pr[\bar B]\le\sum_{i=0}^{n}\Pr[\bar B_i]\le (n+1)\cdot p$ .
$\Pr[\bar B]=\Pr\Big[\bigcup_{i=0}^{n}\bar B_i\Big]\le\sum_{i=0}^{n}\Pr[\bar B_i]\le (n+1)p$
חובה להשתמש בחסם האיחוד ולא במכפלה: המאורעות אינם זרים ואינם בלתי תלויים. מלכודת: אי אפשר לטעון $\Pr[\bigcap]\ge\prod\Pr$ רק מפני שהסתברויות $\le 1$ — פירוק ל"וגם" נותן מכפלת הסתברויות מותנות, שיכולות להיות קטנות יותר.
ProbabilityProof techniqueRandomizationExam
What was said on the recording (1)
- אני תמיד יכול לכתוב הסתברות של וגם כמכפלות אבל זה יהיה מכפלות של הסתברויות מותנות
  koSjQFBe9RE @ 01:34:43
Proof techniqueRememberL20·22
Amplify first so the union bound works
$(n+1)\cdot\tfrac13>1$ — חסם ריק. לכן מגבירים תחילה: לפי משפט ההגברה, $\mathrm{BPP}=\mathrm{BPP}_{1-\frac{1}{Q(n)}}$ לכל פולינום $Q$ , אז אפשר להניח שגיאה $p\le \frac{1}{2(n+1)}$ . אז $\Pr[\bar B]\le (n+1)p\le\tfrac12$ , כלומר $\Pr[A]\ge\Pr[B]\ge\tfrac12$ — וזו בדיוק ההגדרה של $\mathrm{RP}$ .
$p\le\frac{1}{2(n+1)}\ \Longrightarrow\ \Pr[\bar B]\le\tfrac12$
קודם מחליטים מה רוצים לקבל בסוף, ואז קובעים את הפרמטר. "אני יודע שאכפול את זה ב‑ $n+1$ ואני רוצה לקבל $\le\tfrac12$ ."
RandomizationProbabilityComplexity classesProof technique
What was said on the recording (1)
- אז אני אקבל שזה קטן שווה n + 1פ ואני רוצה שזה יהיה קטן שווה חצי
  koSjQFBe9RE @ 01:38:53
RuleRememberL20·23
Why the number of variables must not shrink
הסיבה שלא מעלימים משתנים מהנוסחה: הסתברות ההצלחה תלויה במספר המשתנים $n$ (חסם האיחוד על $n+1$ הרצות). אם $n$ יקטן תוך כדי — ההסתברות תשתנה, ולכן שומרים על מספר המשתנים ועל אורך הנוסחה.
זו ה"סיבה שתגיע מתישהו" שהמרצה הבטיח כשהציג את הגאדג'ט של פסוקית היחידה.
RandomizationProbabilitySATProof technique
What was said on the recording (1)
- אם אני טולה את מספר ה את ההסתברות הצלחה במספר המשתנים, אני לא רוצה להקטין את מספר המשתנים
  koSjQFBe9RE @ 01:40:27
DefinitionRememberL20·24
$\mathrm{coNP}$ — the set of complements, not the complement of the set
$\mathrm{coNP}=\{\bar A : A\in\mathrm{NP}\}$ — האוסף של כל המשלימים של בעיות ב‑ $\mathrm{NP}$ . לא לבלבל בין האוסף של המשלימים לבין המשלים של האוסף: שפה שאינה ב‑ $\mathrm{NP}$ אינה בהכרח ב‑ $\mathrm{coNP}$ .
$\mathrm{coNP}=\{\bar A: A\in\mathrm{NP}\}\ne \overline{\mathrm{NP}}$
בדיוק כמו $R$ ו‑ $\mathrm{co}R$ — $\mathrm{co}R$ אינו המשלים של $R$ .
coNPNPComplexity classesExam
What was said on the recording (1)
- לא לבלבל בין האוסף של המשלימים למשלים של האוסף
  koSjQFBe9RE @ 01:46:27
ClaimRememberL20·25
$\mathrm{P}=\mathrm{coP}$ — $\mathrm{P}$ is closed under complement
לכל שפה $A$ : $A\in\mathrm{P}$ אם ורק אם $\bar A\in\mathrm{P}$ , ולכן $\mathrm{coP}=\mathrm{P}$ . ההוכחה: לוקחים את המכריעה ומבצעים פליפ — מקבלים במקום לדחות ולהפך.
$A\in\mathrm{P}\iff \bar A\in\mathrm{P}$
בדיוק כמו סגירות $R$ למשלים.
PcoNPComplexity classesModel robustness
What was said on the recording (1)
- לכל חול a A בP אם ורק עם A משלים בפ
  koSjQFBe9RE @ 01:48:40
RuleRememberL20·26
$\mathrm{NP}$ has built-in asymmetry — so you can't just flip
אי אפשר לעשות "פליפ" ב‑ $\mathrm{NP}$ : ההגדרה שלה א־סימטרית מובנית — עבור yes-instance נדרש קיום (קיימת ריצה מקבלת / קיים עד), ועבור no-instance נדרש לכל (כל הריצות דוחות / לכל עד המכונה דוחה).
$x\in A\Rightarrow \exists\text{ witness};\qquad x\notin A\Rightarrow \forall\text{ witness}$
לכן לא ידוע אם $\mathrm{NP}=\mathrm{coNP}$ — זו בעיה פתוחה. "יש הבדל בין לזהות שיש הצבה מספקת לנוסחה לבין לזהות שכל הצבה לא תספק אותה."
NPcoNPNondeterminismQuantifiersComplexity classes
What was said on the recording (1)
- ההגדרה של np ההגדרה של מכונה של קבלה או הכראה היא דטרמיניסטית יש בה חוסר סימטריה מובנה
  koSjQFBe9RE @ 01:49:11
ClaimRememberL20·27
$\mathrm{P}\subseteq \mathrm{NP}\cap\mathrm{coNP}$
$\mathrm{P}\subseteq\mathrm{NP}\cap\mathrm{coNP}$ . הוכחה high-level: תהי $A\in\mathrm{P}$ ; אז $\bar A\in\mathrm{P}\subseteq\mathrm{NP}$ , ולכן $A=\overline{\bar A}\in\mathrm{coNP}$ .
$\mathrm{P}\subseteq \mathrm{NP}\cap\mathrm{coNP}$
אין צורך לבנות מכונה — הכול נובע מסגירות $\mathrm{P}$ למשלים ומ‑ $\mathrm{P}\subseteq\mathrm{NP}$ .
PNPcoNPComplexity classes
What was said on the recording (1)
- אז ראינו ראינו שP מוחלת בNP נכון אני רוצה להראות שהיא מוחלת בקוn
  koSjQFBe9RE @ 01:52:31
ClaimRememberL20·28
$\mathrm{NP}=\mathrm{coNP}\iff \mathrm{NP}\subseteq\mathrm{coNP}$
$\mathrm{NP}=\mathrm{coNP}$ אם ורק אם $\mathrm{NP}\subseteq\mathrm{coNP}$ — כלומר די להוכיח הכלה בכיוון אחד.
$\mathrm{NP}=\mathrm{coNP}\iff \mathrm{NP}\subseteq\mathrm{coNP}$
הכיוון מימין לשמאל דורש עבודה; הכיוון משמאל לימין מיידי מהשוויון.
NPcoNPComplexity classes
What was said on the recording (1)
- NP שווה לקפ עם ורק עם NP מוכל בכ
  koSjQFBe9RE @ 01:54:08
Lecture 21
DefinitionRememberL21·1
MAX-INDEPENDENT-SET — and what "maximum" hides
קלט: גרף $G$ ומספר טבעי $K$ . שאלה: האם הגודל המקסימלי של קבוצה בלתי תלויה ב‑ $G$ הוא $K$ ? כלומר: (1) קיימת קבוצה בלתי תלויה בגודל $K$ , וגם (2) לכל קבוצה בלתי תלויה ב‑ $G$ הגודל הוא לכל היותר $K$ .
$\langle G,K\rangle\in \text{MAX-IS}\iff \big(\exists U \text{ independent},|U|=K\big)\ \wedge\ \big(\forall U \text{ independent}: |U|\le K\big)$
הדרישה למקסימליות נראית תמימה, אבל היא מחביאה בתוכה שני כמתים שונים — קיום ולכל. תמיד פרקו "מקסימום" לפרימיטיבים לפני שמתחילים לעבוד.
Graph problemsNP-completenessQuantifiersExam
What was said on the recording (1)
- שני קמתים שונים בדיוק מחביאה בתוכה קיום ולכול
  AGUI69L7aDA @ 00:00:34
Exam guidanceRememberL21·2
Don't talk about an object before you introduce it
"אתה לא יכול להתחיל לדבר על הקבוצה כשאני לא יודע מי היא." קודם טוענים שקיימת קבוצה כזו (או מציגים אותה ב"תהי"), ורק אז מדברים עליה.
בדקו תמיד שבאמת הגדרתם את האובייקט קודם — אחרת אתם מדברים על משהו שלקורא אין לו משמעות.
ExamProof techniqueQuantifiers
What was said on the recording (1)
- אתה לא יכול להתחיל מלדבר על הקבוצה כשאני לא יודע מי
  AGUI69L7aDA @ 00:01:36
ClaimL21·3
$\text{IS}\in\mathrm{P}\Rightarrow \text{MAX-IS}\in\mathrm{P}$
אם לבעיית INDEPENDENT-SET יש אלגוריתם הרץ בזמן $t$ , אז ל‑MAX-INDEPENDENT-SET יש אלגוריתם הרץ בזמן $|V|\cdot t$ : עוברים על $k=1,2,\dots,|V|$ ומוצאים את ה‑ $k$ האחרון שעבורו התשובה "כן".
$T_{\text{MAX-IS}} = O(|V|\cdot T_{\text{IS}})$
לכן אם $t$ פולינומי — גם התוצאה פולינומית. הפקטור הנוסף הוא $|V|$ בלבד.
Graph problemsPReductions
What was said on the recording (1)
- אם יש לי אלגוריתם לאנדפנדנס שרץ בזמן t יש לי אלגוריתם למקסימום אדפנדנסט שרץ בV * t
  AGUI69L7aDA @ 00:05:21
Proof techniqueRememberL21·4
The reduction SAT ≤ MAX-IS — a vertex per literal occurrence
על קלט $\varphi$ בצורת CNF עם $m$ פסוקיות: לכל ליטרל בכל פסוקית מתאימים קודקוד (ליטרל שחוזר בכמה פסוקיות מקבל כמה קודקודים). מחברים בקשת (אדומה) כל שני קודקודים מאותה פסוקית, ובקשת (שחורה) כל קודקוד של ליטרל עם הקודקודים של שלילתו. מחזירים $\langle G, m\rangle$ .
תפקיד הקשתות האדומות: לדאוג שבקבוצה בלתי תלויה יהיה לכל היותר קודקוד אחד מכל פסוקית. תפקיד השחורות: לדאוג שלא ייבחרו ליטרל ושלילתו יחד.
ReductionsSATGraph problemsNP-completeness
What was said on the recording (1)
- נחבר בקשת את כל הקודקודים שנבנו מתוך ההסגר הזה
  AGUI69L7aDA @ 00:08:58
ClaimL21·5
The reduction runs in $O(|\varphi|^2)$
מספר הקודקודים אינו עולה על אורך הנוסחה, ושלבי הקשתות עוברים על כל הזוגות — $\binom{|V|}{2}=\Theta(|V|^2)$ . סה"כ פולינומי בגודל הקלט.
$\binom{|V|}{2}=\frac{|V|(|V|-1)}{2}=\Theta(|V|^{2})$
באופן כללי $\binom{n}{k}\le n^{k}$ — שימושי לחסימות גסות. נוח לבטא הכול באמצעות $|V|$ ואז לתרגם ל‑ $|\varphi|$ .
ReductionsTimeCombinatoricsAsymptotics
What was said on the recording (1)
- שלב שתיים ושלב שלוש דורשים סדר גודל של V'וס 2 צד
  AGUI69L7aDA @ 00:17:07
PitfallRememberL21·6
Quantifier order — "for every clause there exists a literal"
היזהרו מלהפוך את סדר הכמתים. הנכון: "לכל פסוקית קיים ליטרל ש‑ $V$ נותנת לו $1$ ". השגוי: "קיים ליטרל שלכל פסוקית…".
$\forall c\ \exists \ell\in c:\ V(\ell)=1\quad\ne\quad \exists \ell\ \forall c$
היפוך הסדר משנה לחלוטין את הטענה — וזו טעות שקל מאוד ליפול בה בכתיבה מהירה.
QuantifiersSATExamProof technique
What was said on the recording (1)
- הקמתים להיזהר מלהפוך את הסדר לא להגיד קיים ניטרל לכל הסגר אלא
  AGUI69L7aDA @ 00:19:52
RuleRememberL21·7
The proof sits above the algorithm — it has access to the solution
ההוכחה אינה האלגוריתם — היא מגיעה מעל האלגוריתם. לאלגוריתם אין גישה להצבה ואין גישה לקבוצה; בהוכחה יש — מניחים "קיימת הצבה מספקת" ובונים ממנה קבוצה בלתי תלויה. וזה תמיד כך בכל הוכחת רדוקציה.
הרדוקציה עצמה לא פותרת שום דבר — היא מקבלת instance ומחזירה instance.
ReductionsProof techniqueNP-completenessExam
What was said on the recording (1)
- ההוכחה היא לא האלגוריתם. היא מגיעה מעל האלגוריתם
  AGUI69L7aDA @ 00:20:55
Exam guidanceRememberL21·8
A "for all" proof always begins with "let"
"הוכחת לכל — לעולם, לעולם, לעולם תתחיל ב'יהי'." אם הטענה מתחילה ב"לכל", ההוכחה חייבת להתחיל ב"יהי / תהי / יהיו". אל תדלגו על זה — זה מה שמציג את המשתנה שאיתו תעבדו בהמשך.
הנחה בשלילה היא בסדר גמור — אבל לא כפתיחה. קודם "תהי $U$ קבוצה בלתי תלויה", ורק אחר כך "נניח בשלילה ש‑ $|U|>m$ ". "ברגע שאני מתחיל את התנועה, אני יותר נכון לסיים אותה."
ExamProof techniqueQuantifiers
What was said on the recording (1)
- הוכחת לכול לעולם, לעולם לעולם תתחיל בי
  AGUI69L7aDA @ 00:29:56
Exam guidanceRememberL21·9
Break the argument into small steps
"כמה שאני יותר אפרק את הטיעון שלי — אני פחות prone לעשות טעויות." אל תגידו כמה דברים בבת אחת; גם אם התוצאה נכונה, דרך העבודה הזו תגרום לטעות במקום אחר.
"זה שהתשובה נכונה לא אומר שהדרך להגיע לשם הייתה בסדר."
ExamProof technique
What was said on the recording (1)
- כמה שאני יותר אפרק את הטיעון שלי אני פחות פרון לעשות טעויות
  AGUI69L7aDA @ 00:32:54
PitfallL21·10
"Can be determined" implies uniqueness — say "there exists"
אל תכתבו "אפשר לקבוע את ההצבה" — זה מרמז על יחידות. הניסוח הנכון הוא "קיימת הצבה": יכולות להיות הרבה הצבות שמספקות את הליטרלים, ואנחנו טוענים רק שיש לפחות אחת.
בדוגמה שבלוח היו שתי הצבות מתאימות, כי ערכו של משתנה שלא הופיע לא היה חשוב.
ExamQuantifiersnotationSAT
What was said on the recording (1)
- אז ניתן לקבוע זה קצת חזק מדי
  AGUI69L7aDA @ 00:35:02
RuleRememberL21·11
An existence proof need not be algorithmic
מה שנדרש בהוכחת רדוקציה הוא טיעון קיום (טיעון קומבינטורי). הוכחה אלגוריתמית היא רק דרך אחת להוכיח קיום — נוחה לנו כי זו השפה שלנו, אבל לא חובה.
דוגמה מהשיעור: אם יש אוסף ליטרלים שאין בו ליטרל ושלילתו — תמיד קיימת הצבה שמספקת את כולם; איך היא מוגדרת על שאר המשתנים לא רלוונטי. דוגמה נוספת: ההוכחה שבכל עץ יש עלה אינה אלגוריתמית.
Proof techniqueCombinatoricsReductionsExam
What was said on the recording (1)
- היא צריכה להיות הוכחת קיום. הוכחה אלגוריתמית זה דרך אחת להוכיח את העניין
  AGUI69L7aDA @ 00:36:38
Exam guidanceRememberL21·12
How much to justify on the exam? Enough that I know you know
אין נוסחה לכמה צריך לנמק. הכלל: "תנמק מספיק כדי שאני אדע שאתה יודע על מה אתה מדבר". המבנה של ההוכחה — לעומת זאת — חייב להיות מדויק תמיד, כי הוא משדר שאתה יודע מה הסדר הטבעי של הדברים.
"ברגע שהשתכנעתי שאתה יודע על מה אתה מדבר — you can get away with a lot." אבל צריך קודם לשכנע.
ExamProof technique
What was said on the recording (1)
- את צריך לך למק מספיק כדי שאני אדע שאתה יודע מה אתה מדבר
  AGUI69L7aDA @ 00:41:19
ClaimRememberL21·13
The same reduction works for the complements
אם $f$ היא רדוקציה מ‑ $A$ ל‑ $B$ , אז אותה $f$ היא רדוקציה מ‑ $\bar A$ ל‑ $\bar B$ . ההגדרה של רדוקציה אומרת שכל מה שב‑ $A$ הולך ל‑ $B$ וכל מה שלא ב‑ $A$ הולך ללא‑ $B$ — וזו בדיוק ההגדרה במשלימים.
$A\le_p B\ \Longrightarrow\ \bar A\le_p \bar B$
מסקנה: אם $A$ היא NP-קשה, אז $\bar A$ היא coNP-קשה. כך הראינו ש‑MAX-IS היא coNP-קשה: רדוקציה מ‑ $\overline{\text{IS}}$ ל‑MAX-IS.
ReductionscoNPNP-completenessComplexity classes
What was said on the recording (1)
- אם יש לי עם F רדוקציה מa לB, אז Fדוקציה מa משלים לB משלים
  AGUI69L7aDA @ 00:45:38
RuleRememberL21·14
I don't like proving OR statements
השייכות ל‑MAX-IS היא טענת "וגם" (לכל … וגם קיים …). השלילה של טענת "וגם" היא טענת "או" — וזה לא נעים לעבוד איתה. לכן עדיף לעבוד עם המשלים דרך הרדוקציה, ולא לשלול את התנאים ידנית.
$\neg(A\wedge B)\equiv \neg A\vee\neg B$
"תבינו גם למה אני עושה את הבחירות שאני עושה — הן לא שרירותיות. יש חשיבה מאחוריהן."
Proof techniqueQuantifierscoNPExam
What was said on the recording (1)
- טענת וגם השלילה שלה היא טענת או. אני לא אוהב להוכיח טענות או
  AGUI69L7aDA @ 00:48:19
Proof techniqueRememberL21·15
The reduction $\overline{\text{IS}}\le_p$ MAX-IS — plant a set of size $K-1$
על קלט $\langle G,K\rangle$ : מוסיפים $K-1$ קודקודים חדשים ומחברים כל אחד מהם לכל הקודקודים הישנים; מחזירים $\langle \hat G, K-1\rangle$ .
$\hat V = V\cup W,\ |W|=K-1,\qquad \hat E = E\cup\{\{w,v\}: w\in W, v\in V\}$
אם ב‑ $G$ אין קבוצה בלתי תלויה בגודל $K$ , אז הגודל המקסימלי הוא לכל היותר $K-1$ — והקודקודים החדשים כופים שקבוצה כזו אכן תהיה (הם בלתי תלויים זה בזה ומנותקים מבחירה בקודקוד ישן). זמן ריצה: $O(|V|)$ לקודקודים ו‑ $O(K\cdot|V|)=O(|V|^2)$ לקשתות.
ReductionscoNPGraph problemsNP-completeness
What was said on the recording (1)
- אז אני אשים K מ1 קודקודים ואני אחבר אותם לכל העתר
  AGUI69L7aDA @ 00:52:50
PitfallRememberL21·16
The encoding size of a number $K$ is $\log K$ , not $K$
להיזהר עם מספרים כשמדברים על גודל ייצוג: הגודל של $K$ בייצוג הוא $\log K$ , ולכן אי אפשר לחסום דרכו זמן ריצה. הפתרון: חוסמים באמצעות $|V|$ , כי בלי הגבלת הכלליות $K\le |V|$ (אחרת התשובה טריוויאלית).
$|\langle K\rangle| = \Theta(\log K)$
אם $K>|V|$ , אין קבוצה בלתי תלויה גדולה מ‑ $|V|$ — אפשר לענות מיד.
EncodingsTimeAsymptoticsExam
What was said on the recording (1)
- הגודל של k בעיצוג הוא לogג k אז אני לא יכול באמת לחסום דרכו שום דבר
  AGUI69L7aDA @ 00:59:54
ClaimRememberL21·17
Independent sets are downward closed
אם בגרף יש קבוצה בלתי תלויה בגודל $K+1$ , אז יש בו גם קבוצה בלתי תלויה בגודל $K$ — פשוט מורידים קודקוד, והתת־קבוצה נשארת בלתי תלויה. לכן "אין קבוצה בגודל $K$ " גורר "אין קבוצה בגודל גדול מ‑ $K$ ".
$U \text{ independent},\ U'\subseteq U\ \Longrightarrow\ U' \text{ independent}$
בניגוד לבעיות כמו חתך, שבהן אי אפשר לשלוט במספר הקשתות באופן מדויק. שימו לב: זה טיעון ברמת ההוכחה — האלגוריתם עצמו לא נוגע בקבוצות.
Graph problemsCombinatoricsProof techniqueExam
What was said on the recording (1)
- אם בגרף יש קבוצה בלתויה בגודל k+ 1
  AGUI69L7aDA @ 01:10:52
TheoremRememberL21·18
Claim: $\text{MAX-IS}\in\mathrm{NP}\cup\mathrm{coNP}\iff \mathrm{NP}=\mathrm{coNP}$
MAX-INDEPENDENT-SET שייכת ל‑ $\mathrm{NP}\cup\mathrm{coNP}$ אם ורק אם $\mathrm{NP}=\mathrm{coNP}$ .
$\text{MAX-IS}\in\mathrm{NP}\cup\mathrm{coNP}\iff \mathrm{NP}=\mathrm{coNP}$
כיוון $\Rightarrow$ : MAX-IS היא גם NP-קשה וגם coNP-קשה. אם היא ב‑ $\mathrm{NP}$ — יש בעיה ב‑ $\mathrm{NP}$ שהיא coNP-קשה, ולכן $\mathrm{NP}=\mathrm{coNP}$ ; אם היא ב‑ $\mathrm{coNP}$ — סימטרית. כיוון $\Leftarrow$ : אם $\mathrm{NP}=\mathrm{coNP}$ אז האיחוד מתנוון ל‑ $\mathrm{NP}$ , ו‑MAX-IS היא חיתוך של שתי שפות שכעת שתיהן ב‑ $\mathrm{NP}$ — ו‑ $\mathrm{NP}$ סגורה לחיתוך.
NPcoNPComplexity classesGraph problems
What was said on the recording (1)
- הראו כי הטענה maximum indepפendנס שייך לnp איחוד כל np שכולם
  AGUI69L7aDA @ 01:12:44
Exam guidanceRememberL21·19
"Equivalent to an open problem" — first identify which one
כשמבקשים להראות ששאלה שקולה לבעיה פתוחה — הדבר הראשון הוא לזהות מי הבעיה הפתוחה. כאן $\mathrm{P}=\mathrm{NP}$ אינה מועמדת טובה כי $\mathrm{P}$ לא מוזכרת כלל; המועמדת הנכונה היא $\mathrm{NP}=\mathrm{coNP}$ .
ExamProof techniqueComplexity classes
What was said on the recording (1)
- מי הבעיה הפתוחה שאני רוצה בדיוק. זה הדבר הראשון
  AGUI69L7aDA @ 01:13:48
RuleRememberL21·20
The open picture: $\mathrm{P}\subseteq\mathrm{NP}\cap\mathrm{coNP}$ and nothing more
כל מה שידוע הוא $\mathrm{P}\subseteq\mathrm{NP}\cap\mathrm{coNP}$ . לא ידוע אם $\mathrm{NP}=\mathrm{coNP}$ , לא ידוע אם $\mathrm{P}=\mathrm{NP}\cap\mathrm{coNP}$ , ולא ידוע אם יש שפות באזורים שביניהם. תיאורטית ייתכן שיש בעיה גם ב‑ $\mathrm{NP}$ וגם ב‑ $\mathrm{coNP}$ שאינה ב‑ $\mathrm{P}$ .
$\mathrm{P}\subseteq \mathrm{NP}\cap\mathrm{coNP};\quad R=\mathrm{RE}\cap\mathrm{coRE}$
המצב שונה מחישוביות, שם $R = \mathrm{RE}\cap\mathrm{coRE}$ בדיוק. כאן התמונה מורכבת בהרבה — שלושת האזורים פתוחים.
PNPcoNPComplexity classesFoundations
What was said on the recording (1)
- אני לא יודע על השלושה אזורים האלה אני לא יודע כלום זה בעיות פתוחות
  AGUI69L7aDA @ 01:14:50
TheoremRememberL21·21
A problem in $\mathrm{NP}$ that is coNP-hard forces $\mathrm{NP}=\mathrm{coNP}$
אם קיימת בעיה ב‑ $\mathrm{coNP}$ שהיא NP-קשה — אז $\mathrm{NP}=\mathrm{coNP}$ , וסימטרית: בעיה ב‑ $\mathrm{NP}$ שהיא coNP-קשה גם היא גוררת $\mathrm{NP}=\mathrm{coNP}$ .
$\exists A\in\mathrm{coNP} \text{ NP-hard}\ \Longrightarrow\ \mathrm{NP}=\mathrm{coNP}$
הוכחה: תהי $A\in\mathrm{coNP}$ שהיא NP-קשה, ותהי $B\in\mathrm{NP}$ . אז יש רדוקציה $B\le_p A$ ; מכיוון ש‑ $\mathrm{coNP}$ סגורה לרדוקציות זמן פולינומי, נובע $B\in\mathrm{coNP}$ . לכן $\mathrm{NP}\subseteq\mathrm{coNP}$ , וראינו שזה שקול ל‑ $\mathrm{NP}=\mathrm{coNP}$ .
NPcoNPReductionsNP-completenessComplexity classes
What was said on the recording (1)
- אם יש לי בעיה בnp שהיא כפי קשה אז np שווה כנ
  AGUI69L7aDA @ 01:20:39
Proof techniqueRememberL21·22
Decompose a language into an intersection of two known ones
טענת "וגם" מתורגמת לחיתוך של קבוצות: $\text{MAX-IS} = \{\langle G,K\rangle : \exists\ \text{independent set of size } K\}\ \cap\ \{\langle G,K\rangle: \forall\ \text{independent set of size} \le K\}$ . הראשונה היא IS ( $\in\mathrm{NP}$ ); השנייה היא עד כדי קוסמטיקה $\overline{\text{IS}}$ ( $\in\mathrm{coNP}$ ).
$\text{MAX-IS} = \text{IS}_K\ \cap\ \{\langle G,K\rangle:\ \text{every independent set of size}\le K\}$
ומכיוון ש‑ $\mathrm{NP}$ סגורה לחיתוך — בהנחה $\mathrm{NP}=\mathrm{coNP}$ שתי השפות ב‑ $\mathrm{NP}$ ולכן גם החיתוך.
Complexity classesQuantifiersNPcoNPGraph problems
What was said on the recording (1)
- זה כל הGK כך שכל קבוצה בלתי תלויה היא בגודל לכל היותר K מ1 זה בדיוק אינדפנס משלים
  AGUI69L7aDA @ 01:27:33
Exam guidanceL21·23
"Weak argument — raise your voice"
סיפור על נואם מחונן שבשולי נאומו נמצאה ההערה "טיעון חלש — להגביר את הקול". המסר: תהיו מספיק בטוחים בעצמכם ותציגו את הטיעון בצורה משכנעת — אבל דעו מה אתם אומרים.
Exam
What was said on the recording (1)
- אז תהיה מספיק בטוח בעצמך ותגיד את זה מספיק בצורה משכנע
  AGUI69L7aDA @ 01:29:07
- התמלול משבש את הפואנטה ("להגדיר את הכל" במקום "להגביר את הקול").
Lecture 22
ClaimRememberL22·1
$C_1$ (" $M$ rejects $xw$ ") equals $\mathrm{NP}$
מחלקה המוגדרת בדיוק כמו $\mathrm{NP}$ (מכונת אימות דטרמיניסטית, עד באורך $|x|^c$ ) אלא ש" $M$ דוחה את $xw$ " במקום "מקבלת" — שווה ל‑ $\mathrm{NP}$ . הגישור: מכיוון שהמכונה דטרמיניסטית, אפשר להחליף את המצב המקבל והדוחה וזה שקול.
$C_1=\mathrm{NP}$
בכתיבה: "נסמן ב‑ $\hat M$ את המכונה המתקבלת מ‑ $M$ על ידי החלפת המצבים המקבל והדוחה" — "נסמן" ולא "נגדיר", כי לא כתבתי אלגוריתם חדש אלא רק שיניתי חוטים.
NPComplexity classesCertificates and verifiersExam
What was said on the recording (1)
- בגלל שהמכונה הדטרמיניסטית אני יכול להפוך את הCפept ורג ולהגיד זה שקול
  sjTAzTgMpD0 @ 00:03:41
RuleRememberL22·2
"P vs NP — what's harder, solving an exam or grading it?"
$\mathrm{NP}$ היא אוסף כל הבעיות שבהינתן עד לא גדול מדי אפשר לוודא אותן בזמן פולינומי. "השאלה $\mathrm{P}=\mathrm{NP}$ היא כמו לשאול מה יותר קשה — לפתור מבחן או לבדוק אותו."
דוגמה: לוודא בעצמך שמספר הוא פריק דורש פירוק לגורמים — קשה. אבל אם נותנים לך גורם, חילוק ארוך פותר את זה מיד. שימו לב: מכונת האימות אינה מכריעה את $A$ — היא מקבלת את הזוג $\langle x,w\rangle$ .
NPCertificates and verifiersPFoundations
What was said on the recording (1)
- זה כמו לשאול מה יותר קשה לפתור מבחן או לבדוק אותו
  sjTAzTgMpD0 @ 00:05:14
Proof techniqueRememberL22·3
The four steps for "compare this new class to NP"
(1) זהו את ההגדרה המוכרת הקרובה ביותר. (2) כתבו את שתי ההגדרות אחת מול השנייה ומצאו ברמת ה‑pattern-matching איפה בדיוק ההבדל. (3) החליטו האם אפשר לגשר על ההבדל. (4) כתבו את זה.
שלבים 1 ו‑3 דורשים מחשבה; 2 ו‑4 טכניים ברובם — ודווקא על 2 נופלים. "אני לא מסוגל לראות את זה בראש — אני כותב את שניהם אחת מול השנייה." השאלות האלה טריקיות אבל הן ברמת הגדרה בלבד — אין בהן שום דבר פרט להגדרה.
ExamProof techniqueComplexity classesnotation
What was said on the recording (1)
- אז יש לנו בעצם שני שלבים שהם טיפה יותר מחשבתיים בשאלות האלה, שזה השלב הראשון והשלישי
  sjTAzTgMpD0 @ 00:05:45
Exam guidanceL22·4
Quote a definition when it guarantees existence; with "for all" just use it
מצטטים את ההגדרה כשהיא מבטיחה קיום — כי היא זו שמביאה לי את המשתנים (המכונה, הקבוע, העד). כשמדובר ב**"לכל"** — אין סיבה לצטט; פשוט משתמשים בו.
אם אתם לא מרגישים בנוח — לצטט גם את ה"לכל" זו לא טעות. זה עניין סגנוני.
ExamProof techniqueQuantifiers
What was said on the recording (1)
- אז לכול אני לא מצטט אין סיבה אז אני לא אצטט אני פשוט אשתמש בו
  sjTAzTgMpD0 @ 00:06:48
RuleRememberL22·5
You may reorder quantifiers only of the same kind
אם יש שני כמתים מאותו סוג — אפשר להחליף ביניהם: $\forall\forall$ ניתן להחלפה, $\exists\exists$ ניתן להחלפה. קריטי לא לעשות זאת כשהכמתים מסוגים שונים — $\forall\exists$ אינו $\exists\forall$ .
$\forall a\forall b\ P \equiv \forall b\forall a\ P;\quad \exists a\exists b\ P\equiv \exists b\exists a\ P;\quad \forall a\exists b\ P \not\equiv \exists b\forall a\ P$
QuantifiersProof techniqueExamFoundations
What was said on the recording (1)
- אם יש לי שני קמטים מאותו סוג אני יכול להחליף
  sjTAzTgMpD0 @ 00:10:00
Exam guidanceRememberL22·6
Summarize in the definition's own template — let the structure jump out
בסוף ההוכחה כתבו את המסקנה במבנה המדויק של ההגדרה שאליה אתם מכוונים ("קיימת מכונה, קיים קבוע, לכל $x$ : אם … קיים $w$ …; אם לא … לכל $w$ …"). כשמביאים את זה ככה המבנה קופץ החוצה וקל לראות שהוא מתאים לטענה.
הקישור הוא ברמה טכנית‑תחבירית ולא קונספטואלית — וזה בכוונה: "אני לא רוצה לסמוך על אינטואיציה או על זה שמשהו ייראה לי איכשהו."
ExamProof techniquenotation
What was said on the recording (1)
- כשביאים את זה ככה המבנה קופץ החוצה מאוד קל לראות שהמבנה הוא מתאים לטענה
  sjTAzTgMpD0 @ 00:13:44
ClaimRememberL22·7
$C_2$ ("there exists $w$ " in both branches) strictly contains $\mathrm{NP}$
מחלקה כמו $\mathrm{NP}$ אלא שגם בענף ה‑no כתוב "קיים $w$ עבורו $M$ דוחה" (במקום "לכל $w$ ") — מכילה ממש את $\mathrm{NP}$ : $\mathrm{NP}\subsetneq C_2$ .
$\mathrm{NP}\subsetneq C_2$
הגישור אפשרי רק בכיוון אחד: "לכל" גורר "קיים" (התחום — כל המחרוזות באורך $|x|^c$ — אינו ריק), אבל לא להפך. למעשה $C_2$ היא קבוצת כל השפות.
NPComplexity classesQuantifiersCertificates and verifiers
What was said on the recording (1)
- מוחלת ממש בC2 האמת שהן גם לא שקולות אבל זה לא מעניין אותי NP מוחלת ממש בC2
  sjTAzTgMpD0 @ 00:25:49
RuleRememberL22·8
"For all" implies "there exists" — only if the domain is non-empty
אפשר לעבור מ**"לכל"** ל**"קיים"** — אבל רק כשהתחום אינו ריק. הכיוון ההפוך ("קיים" $\Rightarrow$ "לכל") לעולם לא.
$\big(\forall x\in D:P(x)\big)\wedge D\ne\emptyset\ \Longrightarrow\ \exists x\in D:P(x)$
דוגמה נגדית: "כל המספרים שהריבוע שלהם שלילי מתחלקים ב‑3" — טענה נכונה, ובכל זאת לא קיים מספר כזה. לכן בבחינה: או שמנמקים שהתחום אינו ריק, או — עדיף — מציגים איבר קונקרטי ובכך מצייתים לתבנית.
QuantifiersProof techniqueExamFoundations
What was said on the recording (1)
- אני יכול הרי להגיד שכל המספרים שהרי שלהם הוא שלילי הם מתחלקים בשלוש
  sjTAzTgMpD0 @ 00:26:21
Exam guidanceL22·9
Separate the stages of thought — connect only at the end
"להפריד כמה שיותר; לחבר ביניהם בסוף, אבל בשלב המחשבה — כמה שיותר להפריד." קודם: מה בדיוק אני צריך להראות? (שפה ב‑ $C_2$ שאינה ב‑ $\mathrm{NP}$ ). ואז בנפרד: איך אני מוכיח כל חלק.
ExamProof technique
What was said on the recording (1)
- להפריד כמה שיותר להפריד דברים, לחבר ביניהם בסוף
  sjTAzTgMpD0 @ 00:37:34
Proof techniqueRememberL22·10
Two ways to produce a language outside $\mathrm{NP}$
(א) ללכת רחוק: לקחת שפה שאינה כריעה כלל, למשל $\mathrm{HALT}$ — מכיוון ש‑ $\mathrm{NP}\subseteq\mathrm{PSPACE}\subseteq R$ ו‑ $\mathrm{HALT}\notin R$ , נובע $\mathrm{HALT}\notin\mathrm{NP}$ . (ב) ללכת קרוב: ממשפט ההיררכיה קיימת שפה ב‑ $\mathrm{EXPSPACE}$ שאינה ב‑ $\mathrm{PSPACE}$ — ולכן גם אינה ב‑ $\mathrm{NP}$ .
$\mathrm{PSPACE}\subseteq \mathrm{DSPACE}(2^{n})\subsetneq \mathrm{DSPACE}(2^{n^2})\subseteq \mathrm{EXPSPACE}$
אין צורך להציג שפה מפורשת — מספיק "ממשפט ההיררכיה קיימת $A$ … נתבונן בה".
Hierarchy theoremsHaltingComplexity classesSpace complexity
What was said on the recording (1)
- כיוון ש NP מוחלת ב למשל בPספיס זה Pספיס מוחלת ב וגם הלט אני יודע שהיא לא בר
  sjTAzTgMpD0 @ 00:40:12
RuleRememberL22·11
Every class in this course consists of decidable languages
כל המחלקות שדיברנו עליהן — $\mathrm{P}$ , $\mathrm{NP}$ , $\mathrm{PSPACE}$ , $\mathrm{EXP}$ , אפילו $\mathrm{BPP}$ — הן מחלקות של שפות כריעות, כי לכל שפה בהן קיימת מכונה שמכריעה אותה (בזמן/מקום חסום, ובפרט עוצרת).
$\mathrm{P},\mathrm{NP},\mathrm{BPP},\mathrm{PSPACE},\mathrm{EXP}\subseteq R$
"בכל הקורס הזה היינו בתוך $R$ — פירקנו את $R$ למחלקות, כשהשאלה הייתה על המחיר." המשא ומתן היה על המחיר, לא על האם זה כריע — זה היה הקורס הקודם.
Complexity classesHaltingFoundationsSpace complexity
What was said on the recording (1)
- כל המחלקות שדיברנו עליהן זה מחלקות של שפות קריאות
  sjTAzTgMpD0 @ 00:41:44
ClaimRememberL22·12
What is known about the inclusion chain
$\mathrm{P}\subseteq\mathrm{NP}\subseteq\mathrm{PSPACE}\subseteq\mathrm{EXP}$ , וידוע ש‑ $\mathrm{P}\subsetneq\mathrm{EXP}$ (ממשפט ההיררכיה) — כלומר לפחות אחת ההכלות ממש, אבל לא ידוע איזו. באותו אופן $\mathrm{PSPACE}\subsetneq\mathrm{EXPSPACE}$ .
$\mathrm{P}\subseteq\mathrm{NP}\subseteq\mathrm{PSPACE}\subseteq\mathrm{EXP},\qquad \mathrm{P}\subsetneq\mathrm{EXP}$
לכן אי אפשר להשתמש בהכלות המרכזיות כדי לייצר שפה מחוץ ל‑ $\mathrm{NP}$ — אבל כן אפשר להשתמש ב‑ $\mathrm{PSPACE}\subsetneq\mathrm{EXPSPACE}$ .
Complexity classesHierarchy theoremsSpace complexityTime vs space
What was said on the recording (1)
- היה לנו שp מוחלת ממש בx
  sjTAzTgMpD0 @ 00:42:47
Proof techniqueRememberL22·13
How to use the hierarchy theorem — not on the classes themselves
משפט ההיררכיה אינו מנוסח על $\mathrm{PSPACE}$ / $\mathrm{EXPSPACE}$ ישירות. משתמשים בו כך: $\mathrm{PSPACE}\subseteq \mathrm{DSPACE}(2^{n})$ , וממשפט היררכיית המקום $\mathrm{DSPACE}(2^{n})\subsetneq \mathrm{DSPACE}(2^{n^2})\subseteq \mathrm{EXPSPACE}$ — ובכך קיבלתי הכלה ממש "באמצע".
$\mathrm{DSPACE}(2^{n})\subsetneq \mathrm{DSPACE}(2^{n^{2}})$
התנאים: הפונקציה הגדולה יותר סופר‑ליניארית וניתנת לחישוב במקום. זו אותה הוכחה בדיוק כמו $\mathrm{P}\subsetneq\mathrm{EXP}$ .
Hierarchy theoremsSpace complexityComplexity classesProof technique
What was said on the recording (1)
- אז אני יכול להראות שpספי מוחלת כולה בDספי למשל א 2 בn
  sjTAzTgMpD0 @ 00:43:17
Exam guidanceRememberL22·14
"By the hierarchy theorem" isn't enough — explain how
לכתוב "ממשפט ההיררכיה קיימת $A\notin\mathrm{NP}$ " אינה תשובה שגויה — היא תשובה חסרה. צריך להראות איך זה נובע: "ממשפט ההיררכיה קיימת $A\in\mathrm{EXPSPACE}$ שאינה ב‑ $\mathrm{PSPACE}$ " — וזה כבר מזכה בהרבה יותר.
ExamHierarchy theoremsProof technique
What was said on the recording (1)
- אתה צריך להראות לי למה ק למה זה נובע ממשפט הירח
  sjTAzTgMpD0 @ 00:54:03
Proof techniqueRememberL22·15
The "Monty Python" machine — it only looks at the first bit of $w$
כדי להראות ש‑ $\mathrm{HALT}\in C_2$ בונים מכונה $M$ על קלט $\langle x,w\rangle$ : אם הביט הראשון של $w$ הוא $1$ — קבל; אחרת — דחה. אז לכל $x$ קיים $w=1\dots$ שאיתו מקבלת, וקיים $w=0\dots$ שאיתו דוחה.
$M(\langle x,w\rangle)=\begin{cases}\text{accept} & w_1=1\\ \text{reject} & \text{else}\end{cases}$
המכונה הזאת כלל אינה מתיימרת להכריע את HALT — היא רק מקיימת את ההגדרה. "המכונה לא עושה יותר מדי, אבל היא עדיין מרשימה מספיק." אותה הוכחה עובדת עבור כל שפה — ולכן $C_2$ היא קבוצת כל השפות.
Complexity classesCertificates and verifiersProof techniqueHalting
What was said on the recording (1)
- המכונה הזאת לא מתיימרת להכריע את הלט
  sjTAzTgMpD0 @ 00:55:37
Exam guidanceRememberL22·16
Proving existence? Don't start with "let"
כשצריך להוכיח קיום ("קיימת שפה ב‑ $C_2$ שאינה ב‑ $\mathrm{NP}$ ") — לא פותחים ב"תהי שפה…". מביאים אחת קונקרטית, או מראים שקיימת. המבנה של ההוכחה חייב להיות המבנה של הטענה.
"אני לא רוצה להוכיח 'לכל' כשאני מוכיח 'קיים'." גם אם ההוכחה תעבוד לכל שפה — כותבים אותה כטענת קיום.
ExamProof techniqueQuantifiers
What was said on the recording (1)
- אני לא רוצה להוכיח לכול כשאני מוכיח קיים
  sjTAzTgMpD0 @ 00:56:39
Exam guidanceL22·17
Don't prove more than required — and certainly not less
להוכיח יותר ממה שנדרש תקין מתמטית (בתנאי שלא טועים) — אבל "אני משתדל לא להוכיח יותר ממה שאני חייב". להוכיח פחות — גם אם ההוכחה נכונה — לא מספיק.
כל טענה עודפת היא עוד מקום שאפשר לטעות בו.
ExamProof technique
What was said on the recording (1)
- אני פשוט משתדל לא להוכיח יותר ממה שאני חייב
  sjTAzTgMpD0 @ 00:57:10
ClaimRememberL22·18
$C_3$ (constant-length witness) equals $\mathrm{P}$
מחלקה כמו $\mathrm{NP}$ אלא שהעד $w$ הוא באורך קבוע $c$ שאינו תלוי ב‑ $x$ — שווה ל‑ $\mathrm{P}$ . בונים מכונה שעוברת בלולאה על כל $w\in\{0,1\}^{c}$ , מריצה את $M(x,w)$ , ומקבלת אם התקבלה קבלה כלשהי.
$C_3=\mathrm{P};\qquad \big(C_3=\mathrm{NP}\big)\iff\big(\mathrm{P}=\mathrm{NP}\big)$
מספר האיטרציות הוא $2^{c}$ — קבוע שאינו תלוי ב‑ $|x|$ , ולכן זמן הריצה פולינומי. מכאן: " $C_3=\mathrm{NP}$ ?" שקולה לשאלה הפתוחה " $\mathrm{P}=\mathrm{NP}$ ?".
PNPCertificates and verifiersComplexity classes
What was said on the recording (1)
- כי בזמן במספר קבוע של איטרציות אני יכול לעבור על כל הWים האפשריים
  sjTAzTgMpD0 @ 00:59:24
PitfallRememberL22·19
Not everything that looks exponential is exponential
$2^{c}$ נראה מעריכי — והוא מעריכי, אבל לא ב‑ $|x|$ . מה שקובע הוא האם הביטוי מעריכי כפונקציה של הקלט. כפונקציה של הקלט $2^{c}$ הוא קבוע.
אותה מלכודת ראינו עם $n^{2^{c}}$ — צורה מעריכית שאינה מעידה על סיבוכיות מעריכית.
AsymptoticsComplexity classesExamTime
What was said on the recording (1)
- לא כל מה שיש לו צורה מעריכית אומר שזה מעריכי. מה שמעניין אותי זה אם זה מעריכי בכל פונקציה של הכלת
  sjTAzTgMpD0 @ 00:59:55
RuleRememberL22·20
Same mechanism as $\mathrm{NP}\subseteq\mathrm{PSPACE}$ — adapted
"לעבור על כל העדים" הוא בדיוק המכניזם שבו הוכחנו $\mathrm{NP}\subseteq\mathrm{PSPACE}$ (שם השתמשנו בזה שכל האיטרציות חולקות אותו מקום). כאן מספר האיטרציות עצמו קבוע, ולכן מקבלים זמן פולינומי ולא רק מקום.
זכרו אלגוריתמים מהשיעור ועשו עליהם אדפטציה — זה חוסך המצאה מחדש.
Proof techniqueSpace complexityPSPACECertificates and verifiersExam
What was said on the recording (1)
- השתמשנו בהגדרה עם העד ואמרנו נבנה מכונה שתעבור על כל העדים
  sjTAzTgMpD0 @ 01:10:47
Exam guidanceL22·21
Don't dig into "there exists a polynomial" when you don't need to
כשמריצים את אותה מכונה על אותו קלט ומחזירים את אותה תשובה — אין שום סיבה להיכנס ל"קיים $c$ " או "קיים פולינום" ולהתחיל לחפור פנימה. מספיק " $\hat M$ רצה בזמן פולינומי בגודל הקלט".
ExamProof techniqueTime
What was said on the recording (1)
- אין שום סיבה להיכנס פה לקיים C או קיים פולינום ולהתחיל לחפור פנימה. אין סיבה
  sjTAzTgMpD0 @ 01:14:41
Lecture 23
Proof techniqueRememberL23·1
A 1/2-approximation for maximum acyclic subgraph
בגרף מכוון עם $V=\{1,\dots,n\}$ : $E_1$ = הקשתות המכוונות ממספר קטן לגדול, $E_2$ = ההפך. שני הגרפים $G_1,G_2$ חסרי מעגלים (במעגל חייבת להיות קשת שמשנה כיוון — מעגל לא יכול להיות מונוטוני). מחזירים את הגדולה מבין השתיים — וזה קירוב $\tfrac12$ .
$|\text{ALG}|\ \ge\ \tfrac12|E|\ \ge\ \tfrac12|\text{OPT}|$
יחס הקירוב: $E_1\ \dot\cup\ E_2=E$ , ולכן אחת מהן מכילה לפחות מחצית מהקשתות; ומצד שני $|E|$ הוא חסם מלמעלה על כל פתרון אפשרי, ובפרט על האופטימלי.
ApproximationGraph problemsCombinatorics
What was said on the recording (1)
- והמטרה למצוא קבוצת קשטות גדולה ככל האפשר כך שהגרף
  2Ck_-XFD52E @ 00:01:03
RuleRememberL23·2
A combinatorial claim versus an algorithmic one
"הנה קבוצה של קשתות" — הגדרתי קבוצה, לא נתתי אלגוריתם למצוא אותה. זו טענה קומבינטורית, טענה על האובייקט. רק בסעיף שדורש אלגוריתם כותבים לולאה, מנתחים זמן ריצה וכו'.
ההבדל הזה חוזר לאורך כל הקורס: מתי מספיק להוכיח קיום, ומתי צריך גם למצוא.
Proof techniqueCombinatoricsApproximationExam
What was said on the recording (1)
- הא הטענה בא' היא טענה קומבינטורית לגמרי היא לא טענה אלגוריתמית
  2Ck_-XFD52E @ 00:01:34
NotationL23·3
Convention: unless stated otherwise, the graph is simple
אם לא אומרים אחרת — הגרף פשוט (בלי לולאות ובלי קשתות מקבילות). אם לא אומרים "מכוון" — הוא לא מכוון. אם אומרים "מכוון" — הוא מכוון ועדיין פשוט.
Graph problemsnotationExam
What was said on the recording (1)
- אם לא אומרים אחרת הגרף הוא פשוט
  2Ck_-XFD52E @ 00:03:21
Exam guidanceRememberL23·4
An approximation algorithm requires proving three things
תזכרו: על אלגוריתם קירוב צריך להוכיח שלושה דברים — (1) זמן ריצה פולינומי; (2) שהפלט הוא פתרון אפשרי (feasible) לבעיה; (3) את יחס הקירוב.
"השאלה הזו קמה ונופלת על המבנה" — לא לדלג על אף שלב, גם כשהוא נראה טריוויאלי.
ApproximationExamProof technique
What was said on the recording (1)
- תזכרו שעל אלגוריתם קירוב צריך להוכיח שלושה דברים
  2Ck_-XFD52E @ 00:06:00
RuleRememberL23·5
At the proof stage you have access to the optimal solution
בשלב ההוכחה יש לי גישה לפתרון האופטימלי, להצבה המספקת, לקבוצה הבלתי תלויה — כי תמיד קיים פתרון אופטימלי לבעיות שאנחנו לומדים. לאלגוריתם אין גישה לזה, כי הוא לא יודע למצוא פתרון אופטימלי בזמן פולינומי.
לכן מותר וצריך לכתוב "נסמן ב‑ $\widehat{E}$ פתרון אופטימלי" בניתוח יחס הקירוב.
ApproximationProof techniqueExamNP-completeness
What was said on the recording (1)
- תמיד יש פתרון אופטימלי לבעיות שאנחנו לומדים
  2Ck_-XFD52E @ 00:08:40
ClaimL23·6
The averaging argument — and why it fails for products
אם יש לי שני מספרים, לפחות אחד מהם גדול שווה מחצי הסכום — תמיד. לעומת זאת עם מכפלה זה לא עובד אם המספרים אינם חיוביים: אי אפשר לומר "אחד מהם גדול מהשורש של המכפלה".
$a+b=S\ \Longrightarrow\ \max(a,b)\ge \tfrac{S}{2}$
CombinatoricsProof techniqueApproximation
What was said on the recording (1)
- יש לי שני מספרים, לפחות אחד מהם גדול שווה חצי מהסכום תמיד
  2Ck_-XFD52E @ 00:09:44
DefinitionRememberL23·7
3-uniform hypergraph and its vertex cover
היפרגרף $3$ ‑אחיד הוא זוג $H=(V,E)$ שבו $E$ הוא אוסף של תת־קבוצות של $V$ בגודל $3$ ("היפר־קשתות"). כיסוי קודקודים של $H$ הוא קבוצת קודקודים שבכל היפר־קשת יש קודקוד ממנה.
$E\subseteq \binom{V}{3};\qquad U \text{ cover} \iff \forall e\in E:\ e\cap U\ne\emptyset$
גרף רגיל הוא היפרגרף $2$ ‑אחיד — כל קשת היא תת־קבוצה בגודל $2$ . 3-HYPERGRAPH-VERTEX-COVER = כל הזוגות $\langle H,K\rangle$ שעבורם קיים ב‑ $H$ כיסוי קודקודים בגודל $K$ .
Graph problemsNP-completenessCombinatoricsFoundations
What was said on the recording (1)
- היפרגרף שתיים אחיד זה גרף כי בעצם זה אוסף של קבוצות בגודל שתיים
  2Ck_-XFD52E @ 00:12:40
Exam guidanceL23·8
First guess for a reduction — the most similar problem
הניחוש הראשון לרדוקציה תמיד: הבעיה הידועה הכי דומה. ל‑3-HVC — VERTEX-COVER. "אם זה לא עובד, אז אולי אתחיל לחשוב על דברים אחרים."
ReductionsNP-completenessExam
What was said on the recording (1)
- אני אעשה רדוקציה מורטקס קבר כי זו בעיה אדומה
  2Ck_-XFD52E @ 00:14:49
- בתמלול "אדומה" — הכוונה דומה.
TheoremRememberL23·9
3-HYPERGRAPH-VERTEX-COVER is NP-hard
רדוקציה מ‑VERTEX-COVER: על $\langle G,K\rangle$ — לכל קשת $e=\{x,y\}$ מוסיפים קודקוד חדש $v_e$ ל‑ $\hat V$ , ומוסיפים את ההיפר־קשת $e\cup\{v_e\}=\{x,y,v_{xy}\}$ ל‑ $\hat E$ . מחזירים $\langle H,K\rangle$ .
$\text{VC}\ \le_p\ \text{3-HVC}$
קשת בגרף לא מכוון היא קבוצה של שני קודקודים, ולכן $e\cup\{v_e\}$ הוא בדיוק "הוסף עוד איבר לקבוצה". זמן ריצה: $O(|E|)$ איטרציות, כל אחת בזמן קבוע.
ReductionsNP-completenessGraph problems
What was said on the recording (1)
- אז הקבוצה החדשה תהיה ‏x y וvxy
  2Ck_-XFD52E @ 00:19:33
Exam guidanceRememberL23·10
Don't skip " $U\subseteq V\subseteq \hat V$ "
בכיוון הקל, לפני ששואלים אם $U$ היא כיסוי — צריך לוודא שהיא בכלל תת־קבוצה של קודקודי הגרף החדש: $U\subseteq V\subseteq\hat V$ . לא לדלג על זה — אם זו לא הייתה תת־קבוצה של קודקודים, הייתי בבעיה.
ReductionsExamProof techniqueGraph problems
What was said on the recording (1)
- לא לדלג את זה כי אני צריך תת קבוצה של קודקודים
  2Ck_-XFD52E @ 00:26:27
Exam guidanceRememberL23·11
Only "denote" something you know exists
אי אפשר להגיד "נסמן" על משהו שאני לא יודע שהוא קיים. קודם "קיימת קשת $e\in E$ כך ש‑ $\hat e = e\cup\{v_e\}$ " — ורק אז לעבוד איתה. ה"קיימת" הזה הוא החיבור שלי לגרף המקורי.
"אם יש לי היפר־קשת בגרף החדש — הייתה קשת שהולידה אותה. תמיד תחשבו איך אני מתחבר לדברים האלה."
ExamProof techniqueQuantifiersReductions
What was said on the recording (1)
- אי אפשר להגיד נסמן על משהו שאני לא יודע שהוא קיים
  2Ck_-XFD52E @ 00:28:39
PitfallRememberL23·12
In the converse direction the set is not a vertex set of $G$
קבוצת קודקודים ב‑ $H$ אינה חייבת להיות קבוצת קודקודים ב‑ $G$ — כי הוספנו קודקודים. לכן אי אפשר פשוט "להתבונן ב‑ $\hat U$ ": לשאלה "האם $\hat U$ היא כיסוי בקודקודים ב‑ $G$ " אין בכלל משמעות. חייבים לבנות קבוצה חדשה $U\subseteq V$ .
התיקון: לכל $v\in\hat U$ — אם $v\in V$ מכניסים אותו; אם $v=v_{xy}$ מכניסים את $x$ (הקודקוד הראשון שמופיע). אותו טריק בדיוק כמו ברדוקציה ל‑DOMINATING-SET.
ReductionsNP-completenessGraph problemsExam
What was said on the recording (1)
- קבוצת קודקודים בH לא חייבת להיות קבוצת קודקודים בG כי הוספתי קודקודים
  2Ck_-XFD52E @ 00:34:03
RuleRememberL23·13
In which problems you can control the solution size exactly
ב‑VERTEX-COVER אפשר תמיד להוסיף קודקודים ולהשלים לגודל $K$ בדיוק; ב‑INDEPENDENT-SET ו‑CLIQUE אפשר תמיד להוריד קודקודים. לכן "בגודל $K$ " ו"בגודל לכל היותר/לפחות $K$ " שקולים שם. ב‑MAX-CUT / MIN-CUT — לא: בוחרים קודקודים אבל מודדים קשתות, ואין שליטה מדויקת במספרן.
Graph problemsNP-completenessApproximationExam
What was said on the recording (1)
- בורטקס cover אני תמיד יכול להוסיף כמה קודקודים שאני רוצה מספר מדויק
  2Ck_-XFD52E @ 00:41:23
Exam guidanceRememberL23·14
Case splits: binary, and case two is exactly the negation
כלל עבודה: תמיד לחלק לשני מקרים ("עצים בינריים של מקרים — אני לא רוצה שלושה בנים"), והמקרה השני חייב להיות בדיוק השלילה של הראשון. אם צריך עוד — מחלקים שוב בתוך מקרה.
זה לא סגנון — זה כדי להימנע מטעויות: אחרת מפספסים מקרה שלא חשבתם עליו. אם אתם לא בטוחים ב‑100% — אל תסטו מזה.
ExamProof techniqueQuantifiers
What was said on the recording (1)
- דבר שני אני תמיד אדג לכתוב את המקרה הראשון והמקרה השני ה בדיוק השלילה שלו
  2Ck_-XFD52E @ 00:45:42
NotationL23·15
A set does have an order — it just isn't guaranteed
"בקבוצה אין סדר" אינו הניסוח הנכון. הניסוח הנכון: הסדר אינו מובטח. בזיכרון תמיד יש סדר (וכך גם ב‑set של פייתון), אבל אסור להסתמך עליו.
לכן כשהגרף מגיע כקלט — כמחרוזת — יש סדר, ובהוכחה (שאינה אלגוריתם שרץ) מותר לומר "ניקח את הקודקוד הראשון".
EncodingsnotationFoundationsExam
What was said on the recording (1)
- לא מובטח לי שום דבר על הסדר, אבל יש סדר
  2Ck_-XFD52E @ 00:48:55
Exam guidanceRememberL23·16
Write down what's already obvious to you
אל תגידו "זה ברור, אכתוב את זה כשאבין את שאר התשובה" — זו טעות כדרך עבודה. "כי כשאני כותב את מה שברור לי, הרבה פעמים דברים אחרים מתחילים להיות ברורים."
התחילו תמיד מלכתוב את הקלט, את הפלט ואת המבנה — גם כשהם טריוויאליים.
ExamProof technique
What was said on the recording (1)
- כי כשאני כותב את מה שברור לי, הרבה פעמים דברים אחרים מתחילים להיות ברורים
  2Ck_-XFD52E @ 00:52:15
Proof techniqueRememberL23·17
A 3-approximation for vertex cover in a 3-uniform hypergraph
$C\leftarrow\emptyset$ , $F\leftarrow\emptyset$ . כל עוד יש היפר־קשת $e=\{x,y,z\}$ : הוסף את שלושת הקודקודים ל‑ $C$ , הוסף את $e$ ל‑ $F$ , ומחק מ‑ $H$ את $x,y,z$ ואת כל ההיפר־קשתות הנוגעות בהם. בסוף החזר את $C$ .
$F$ משמשת רק לניתוח — האלגוריתם לא עושה בה שימוש. מחיקת הקודקודים (ולא רק הקשתות) נועדה להבהיר שהקשתות ב‑ $F$ זרות בזוגות. זמן ריצה: $O(|E|)$ איטרציות, כל אחת ליניארית — סה"כ $O(|H|^2)$ .
ApproximationGraph problemsCombinatorics
What was said on the recording (1)
- אז כל עוד יש היפרקשת בE מה אני עושה את הקודים
  2Ck_-XFD52E @ 00:54:53
Exam guidanceRememberL23·18
"90% of the work is avoiding careless mistakes"
"90% מהעבודה זה להימנע מטעויות שהן רשלנות." לכן: לכתוב גם את מה שנראה מיותר (" $C\subseteq V$ "), להיצמד למבנה, ולא לדלג על שלבים — גם כשהם לא קריטיים כאן.
ExamProof technique
What was said on the recording (1)
- 90% מהעבודה זה להימנע מטעויות שהם רקס
  2Ck_-XFD52E @ 01:04:32
- בתמלול "רקס" — הכוונה רשלנות.
Exam guidanceL23·19
…and sometimes no case split is needed at all
אם בשני המקרים המסקנה זהה — אין סיבה לחלק למקרים. כאן: היפר־קשת נמחקת כשאחד מקודקודיה נכנס ל‑ $C$ — לא משנה אם היא זו שנבחרה או לא. "לא חייבים חלוקה למקרים."
ExamProof techniqueApproximation
What was said on the recording (1)
- בשני המקרים. אז אין סיבה לחלק כל המקרים
  2Ck_-XFD52E @ 01:06:41
RuleRememberL23·20
Structure versus value in an optimization problem
בכל בעיית אופטימיזציה יש ערך (מה שממקסמים/ממזערים) ויש מהות (התכונה שהופכת פתרון ל‑feasible). קל לזהות: הערך הוא מה שעושים עליו מקסימום או מינימום — וכל מה שאינו הערך הוא מהות.
ב‑MAX-CUT הערך הוא גודל החתך והמהות היא רק "להיות קבוצת קודקודים" — ולכן כל קבוצה היא פתרון אפשרי. בכל בעיה אחרת יש מהות נוספת שצריך להוכיח (למשל "חסר מעגלים", "כיסוי").
ApproximationExamFoundationsGraph problems
What was said on the recording (1)
- הערך זה מה שאני עושה עליו מקסימום או מיינימום וכל מה שהוא לא הערך זה מהות
  2Ck_-XFD52E @ 01:09:23
Exam guidanceRememberL23·21
Everything proved in class counts as an exercise-level task
"כל מה שהוכחנו בשיעור הוא ברמת תרגיל מבחינתכם" — למעט שניים־שלושה משפטים: משפט ההיררכיה ומשפט קוק–לוין. את כל השאר אתם אמורים לדעת לשחזר.
ExamHierarchy theoremsCook-Levin
What was said on the recording (1)
- כל מה שהוכחנו בשיעור הוא ברמת תרגיל מבחינתכם
  2Ck_-XFD52E @ 01:11:29
Exam guidanceRememberL23·22
"If you're going to overfit, overfit to the material"
"אם אתם עושים overfitting למשהו — תעשו overfitting לחומר ולא לבחינות קודמות." קודם לעבור היטב על החומר, על תרגילי הבית ועל התרגילים שנפתרו בכיתה; רק אם נשאר זמן — מבחנים משנים אחרונות.
בסמסטרים קודמים לימדו חומר קצת אחר ובעיות אחרות — אתם עלולים להיתקע על שאלה שאינה בחומר ואפילו לא לדעת זאת.
Exam
What was said on the recording (1)
- אם אתם עושים אוברפיטינג למשהו,
  2Ck_-XFD52E @ 01:12:30
Proof techniqueRememberL23·23
Analyzing the ratio via an injection into OPT
לכל $e\in F$ מתאימים קודקוד ב‑ $\text{OPT}$ השייך אליה (קיים כזה, כי $\text{OPT}$ הוא כיסוי). מכיוון שהקשתות ב‑ $F$ זרות בזוגות, ההתאמה חד־חד־ערכית ולכן $|F|\le|\text{OPT}|$ . מכיוון ש‑ $|C|=3|F|$ , נובע $|C|\le 3|\text{OPT}|$ .
$|F|\le|\text{OPT}|,\quad |C|=3|F|\ \Longrightarrow\ |C|\le 3|\text{OPT}|$
בבעיית מינימיזציה יחס הקירוב הוא $\frac{|\text{ALG}|}{|\text{OPT}|}\le 3$ (בבעיית מקסימיזציה הכיוון הפוך).
ApproximationCombinatoricsProof techniqueGraph problems
What was said on the recording (1)
- כיוון שהקשטות בF זרות בזוגות, ההתמה היא חתיכה דרית
  2Ck_-XFD52E @ 01:15:40
- בתמלול "חתיכה דרית" — הכוונה חד־חד־ערכית.
Lecture 24
Exam guidanceRememberL24·1
Once I start writing, I'm in motion
"ברגע שהתחלתי לכתוב אני בתנועה — ואז אני רק צריך לשמור על אינרציה." לכן: להתחיל לכתוב, ולכתוב גם את מה שנראה מובן מאליו. לא לדלג על השלב הזה, לא להגיד "אני יודע, זה ברור".
את ההגדרות ממש חשוב לזכור ולצטט אותן במלואן בתחילת ההוכחה.
ExamProof technique
What was said on the recording (1)
- ברגע שהתחלתי לכתוב אני בתנועה
  nr-i90SFx6s @ 00:02:05
NotationL24·2
Say "semantic analysis", not "correctness"
השלב שאחרי ניתוח זמן הריצה נקרא ניתוח סמנטי — "נכונות" היא מילה עמומה שתלויה במה שרוצים להגיד; ניתוח סמנטי אומר מה בעצם אני רוצה לעשות פה.
notationExamProof technique
What was said on the recording (1)
- נכונות זה תלוי מה אני רוצה להגיד ניתוח סמנטי אומר מה אני בעצם רוצה לעשות פה
  nr-i90SFx6s @ 00:05:18
Exam guidanceRememberL24·3
Explicitly write "independently"
אי־תלות אינה משהו שפשוט קורה — צריך לכתוב במפורש שהמכונה מריצה את $M_B$ באופן בלתי תלוי. רק אז מותר לכפול הסתברויות.
$\Pr[M_A(x)=1 \wedge M_B(x)=1]=\Pr[M_A(x)=1]\cdot\Pr[M_B(x)=1]$
למה תמיד אפשר? כי "יש לי source של אקראיות ואני פשוט מושך ממנו מחדש" — האלגוריתם מטיל מטבעות חדשים ומתעלם מכל מה שהוטל עד כה.
ProbabilityRandomizationExamProof technique
What was said on the recording (1)
- אז כאן אני כותב באופן בלטי תלוי
  nr-i90SFx6s @ 00:08:29
TheoremRememberL24·4
$\mathrm{BPP}$ is closed under intersection
אם $A,B\in\mathrm{BPP}$ אז $A\cap B\in\mathrm{BPP}$ . הבנייה: $M$ על קלט $x$ מריצה את $M_A$ ואת $M_B$ באופן בלתי תלוי, ומקבלת אם ורק אם שתיהן קיבלו.
$\Big(\tfrac{9}{10}\Big)^2=\tfrac{81}{100}\ \ge\ \tfrac23$
עם $\tfrac23$ זה נכשל: $\left(\tfrac23\right)^2=\tfrac49<\tfrac12$ . לכן מגבירים תחילה (משפט ההגברה): $A,B\in\mathrm{BPP}_{9/10}$ , ואז $\left(\tfrac9{10}\right)^2=\tfrac{81}{100}\ge\tfrac23$ .
RandomizationComplexity classesProbabilityModel robustness
What was said on the recording (1)
- וזה 81 חי 100 וזה גדול שווה 2/3
  nr-i90SFx6s @ 00:13:34
RuleRememberL24·5
Getting stuck and backtracking is part of designing a proof
"התחלתי, נתקעתי, חזרתי אחורה לראות איפה אני יכול לתקן — איפה יש לי עדיין חופש שלא השתמשתי בו." הוכחה בתכנון יכולה ללכת הרבה קדימה ואחורה. אל תיבהלו מזה.
כאן ה"חופש" היה בקבוע $\tfrac23$ שאותו אפשר להעלות ל‑ $\tfrac9{10}$ בעזרת ההגברה. שימו לב לעדכן את כל המקומות שבהם הקבוע מופיע.
ExamProof technique
What was said on the recording (1)
- התחלתי נתקעתי חזרתי אחורה לראות איפה אני יכול לתקן איפה יש לי עדיין חופש שלא השתמשתי בו
  nr-i90SFx6s @ 00:14:07
Exam guidanceRememberL24·6
An OR statement already induces the case split
הכלל "המקרה השני הוא שלילת הראשון" חל כשאני מביא את החלוקה. אם ה"או" כבר מונח לפניי — אני מחלק למקרים לפי ה"או" הזה, ולא צריך "נניח $x\notin A$ " מול "נניח $x\in A$ ".
כאן: $x\notin A\cap B$ פירושו " $x\notin A$ או $x\notin B$ " — וזו החלוקה.
ExamProof techniqueQuantifiers
What was said on the recording (1)
- ברגע שיש לי פה טענת אור, היא משרה לי חלוקה למקרים
  nr-i90SFx6s @ 00:18:49
PitfallRememberL24·7
The input is not random — don't condition on " $x\in A$ "
אסור לכתוב $\Pr[M \text{ rejects } x \mid x\notin A]$ . הקלט שרירותי, לא אקראי, והשייכות שלו ל‑ $A$ אינה מאורע אקראי. "זה שאני לא יודע את התשובה לא אומר שזה אקראי."
אקראיות היא משהו שצריך להיכנס באופן מפורש — לא כתבתי בשום מקום שאני בוחר את $x$ באקראי.
ProbabilityRandomizationExam
What was said on the recording (1)
- הכלט הוא לא אקראי הוא שריאותי בסדר השייכות שלו היא לא אקראית זה שאני לא יודע את התשובה לא אומר שזה אקראי
  nr-i90SFx6s @ 00:19:51
Proof techniqueRememberL24·8
Event containment — when independence isn't needed
בענף ה‑no מספיק: המאורע " $M_A$ דוחה" מוכל במאורע " $M_A$ דוחה או $M_B$ דוחה", ולכן $\Pr[M \text{ rejects}]\ \ge\ \Pr[M_A \text{ rejects}]\ \ge\ \tfrac9{10}$ . אין כאן שום צורך באי־תלות.
$A\subseteq B\ \Longrightarrow\ \Pr[A]\le\Pr[B]$
"המקום היחיד שאי־התלות משחקת בו תפקיד הוא כשאני רוצה 'וגם' וכופל." מאורעות שאינם זרים — אי אפשר לסכום, אבל תמיד $\Pr[A]\le\Pr[A\cup B]$ .
ProbabilityProof techniqueRandomizationExam
What was said on the recording (1)
- המקום היחיד שהטלות משחק תפקיד זה כשאני רוצה וגם
  nr-i90SFx6s @ 00:21:24
Exam guidanceRememberL24·9
When you may write "similarly"
"אם ההוכחות זהות עד כדי שינוי אותיות — אתה יכול לכתוב 'בדומה'. כל דבר אחר — תכתוב את ההוכחה."
ExamProof technique
What was said on the recording (1)
- אם ההוכחות זהות עד כדי שינוי אותיות אתה יכול לכתוב בדומה
  nr-i90SFx6s @ 00:24:00
RuleRememberL24·10
Success probability 1/10 on both sides — "I might as well flip a coin"
מחלקה שדורשת רק $\Pr[\text{correct}]\ge\alpha$ בשני הצדדים עבור $\alpha=\tfrac1{10}$ אינה $\mathrm{BPP}$ : "אם הסתברות ההצלחה היא סך הכול $\ge\tfrac1{10}$ — I might as well flip a coin."
ההפרכה: המכונה שדוגמת $r\in\{0,1\}$ אחיד ומקבלת אם $r=1$ מקיימת את התנאי לכל שפה (ההסתברות היא $\tfrac12\ge\tfrac1{10}$ בשני הצדדים) — ובפרט עבור $\mathrm{HALT}$ . אבל $\mathrm{HALT}\notin\mathrm{BPP}$ כי $\mathrm{BPP}\subseteq\mathrm{PSPACE}\subseteq R$ . תמיד יותר קל להראות אי־שייכות דרך מחלקות דטרמיניסטיות.
RandomizationComplexity classesHaltingProbability
What was said on the recording (1)
- אם הסתברות ההצלחה היא סך הכל גדולה שווה עשירית I might as well flip a coin
  nr-i90SFx6s @ 00:34:48
Exam guidanceL24·11
"Don't commit to more than you must — a healthy habit for life"
לכתוב $\ge\tfrac12$ ולא $>\tfrac12$ כשמספיק $\ge$ : "הרגל — אני לא מתחייב יותר ממה שאני חייב. הרגל בריא לחיים." אם אתם לא מוכרחים — אל תתחייבו.
ExamProof technique
What was said on the recording (1)
- אני לא מתחייב יותר ממה שאני חייב הרגל בריא לחיים
  nr-i90SFx6s @ 00:34:48
ClaimRememberL24·12
$\alpha=1$ on both sides means the class is $\mathrm{P}$
אם הסתברות ההצלחה היא $1$ גם בקבלה וגם בדחייה — המכונה תמיד צודקת, ולכן המחלקה שווה ל‑ $\mathrm{P}$ : בונים מכונה דטרמיניסטית שמזינה למכונה האקראית מחרוזת קבועה כלשהי, ובגלל שההסתברות היא $1$ — התשובה בהכרח נכונה.
$\mathrm{BPP}_{1,1}=\mathrm{P}$
RandomizationPComplexity classes
What was said on the recording (1)
- אני בונה מכונה דטרמיניסטית שפשוט מכניסה למכונה הקראיתכן
  nr-i90SFx6s @ 00:35:50
RuleRememberL24·13
Majority voting needs $\alpha>1/2$ — with $1/10$ you learn nothing
כדי שהצבעת רוב על כל ה‑ $r$ ‑ים תעבוד צריך $\alpha>\tfrac12$ : "אז אני יודע שהתשובה הנכונה תחזור על עצמה לפחות $\tfrac23$ מהפעמים, ולכן היא בהכרח תהיה הרוב." עם $\alpha=\tfrac1{10}$ אני יודע רק שהיא חוזרת לפחות עשירית מהפעמים — יכול להיות יותר מחצי, יכול להיות פחות.
לו היה ידוע ש‑ $\Pr=\tfrac1{10}$ בדיוק, הייתי יכול לקחת את התשובה שחזרה הכי פחות ולעשות פליפ. עם $\ge$ — אין לי כלום.
RandomizationProbabilityComplexity classesExam
What was said on the recording (1)
- כי אז אני יודע שהתשובה הנכונה תחזור על עצמה לפחות שני שלי פעמים
  nr-i90SFx6s @ 00:44:16
ClaimRememberL24·14
Generalization: a witness of length $c\log|x|$ still gives $\mathrm{P}$
לא רק אורך קבוע: גם אם $|r|=c\log|x|$ — מספר האיטרציות הוא $2^{c\log|x|}=|x|^{c}$ , כלומר פולינומי, וכל איטרציה פולינומית. מכפלת פולינומים היא פולינום, ולכן המחלקה עדיין מוכלת ב‑ $\mathrm{P}$ .
$2^{c\log|x|}=|x|^{c}$
אילו $|r|$ היה פולינומי — זו הייתה $\mathrm{BPP}$ , ו" $\mathrm{BPP}\subseteq\mathrm{P}$ ?" היא בעיה פתוחה.
RandomizationPAsymptoticsComplexity classes
What was said on the recording (1)
- cog x 2 בחזקת cog x זה x בחזקת c ואז מספר האיטרציות פולינומי
  nr-i90SFx6s @ 00:52:59
ClaimRememberL24·15
$C_3$ (witness of length 5, $\alpha=2/3$ ) equals $\mathrm{P}$
מחלקה שבה $r\in\{0,1\}^{5}$ ו‑ $\Pr_r[\text{correct}]\ge\tfrac23$ — שווה ל‑ $\mathrm{P}$ : מריצים את $M(x,r)$ על כל $2^5=32$ המחרוזות ומחזירים את התשובה שחזרה הכי הרבה פעמים.
$\big|\{r\in\{0,1\}^5: M(x,r)=1\}\big|\ \ge\ \tfrac23\cdot 32\ >\ 16$
ניתוח: עוברים מהסתברות לקומבינטוריקה — $\big|\{r: M(x,r)=1\}\big|\ \ge\ \tfrac23\cdot 32 > 16$ , כלומר יותר מחצי, ולכן זה הרוב. מספר האיטרציות קבוע וכל איטרציה פולינומית.
RandomizationPCertificates and verifiersCombinatorics
What was said on the recording (1)
- אני עובר פה מהסתברות לקומרטוריקה
  nr-i90SFx6s @ 00:54:03
RuleRememberL24·16
Every constant is a polynomial — not every polynomial is a constant
"כל קבוע הוא פולינום; לא כל פולינום הוא קבוע." לכן $C_3\subseteq\mathrm{BPP}$ נובע מיידית מההגדרה — אבל זו גרירה לא הדוקה: הקבוע נותן אינפורמציה נוספת, ולכן אפשר להוכיח משהו חזק יותר ( $C_3=\mathrm{P}$ ).
"תמיד אפשר להגיד: יש לי $5$ ביטים, אז אני אסתכל רק על החמישה הראשונים" — ההסתברות עדיין תצא לפחות $\tfrac23$ .
AsymptoticsComplexity classesRandomizationExam
What was said on the recording (1)
- אז תראי כל קבוע הוא פולינום לא כל פולינום הוא קבוע
  nr-i90SFx6s @ 00:55:13
RuleL24·17
Encapsulation: don't unpack "there exists a polynomial" needlessly
בתחילת הסמסטר היינו כותבים "קיימת מכונה, קיים קבוע $c$ , כך שלכל $x$ זמן הריצה $\le |x|^{c}$ …". היום כותבים פשוט " $M_A$ מכריעה את $A$ בזמן פולינומי" — זו אנקפסולציה, לא הסתרה: אם באמת יצטרכו את הפולינום, חוזרים ומכניסים אותו.
אפשר לעשות את זה רק אחרי שעברנו את הדרך הארוכה ואתם יודעים מה עומד מאחורה. "זה עניין של ניסיון ושל הדרך שעברנו."
ExamnotationProof techniqueTime
What was said on the recording (1)
- לפני חודשיים כדי להגיד את זה הייתי אומר קיימת מכונה כך שקיים פולינום
  nr-i90SFx6s @ 01:02:38
RuleRememberL24·18
The machine's interface must match the class
כדי להראות $\mathrm{P}\subseteq C_3$ אי אפשר להתבונן באותה מכונה — "הממשק שלה עם העולם אינו הממשק הנכון". בונים מכונה חדשה שהקלט שלה הוא $\langle x,r\rangle$ , מריצים $M_A$ על $x$ ומתעלמים מ‑ $r$ .
תמיד מותר להתעלם מחלק מהקלט — אבל הקלט חייב להיות בפורמט שהמחלקה דורשת. "פה אפשר ליפול."
Complexity classesRandomizationExamProof technique
What was said on the recording (1)
- האינטרפייס שלה עם העולם הוא לא האינטרפייס הנכון
  nr-i90SFx6s @ 01:05:19
Exam guidanceRememberL24·19
The template follows the definition you're proving into
בהגדרת $C_3$ כתוב "לכל $x$ ", ולכן ההוכחה מתחילה ב"יהי $x$ " — ולא "יהיו $x$ ו‑ $r$ ". ה‑ $r$ נכנס לתמונה רק בהגדרת המכונה ובהרצתה.
"בסופו של דבר הכול חוזר להגדרה — השאלה היא רק באיזו הגדרה להסתכל."
ExamProof techniqueQuantifiersComplexity classes
What was said on the recording (1)
- אז אם אני רוצה להוכיח שAC3 אני אתחיל ביה X ולא UX וR
  nr-i90SFx6s @ 01:07:32
ClaimRememberL24·20
$C_4$ : error probability below $1/|\Omega|$ means zero error
אם $r$ נדגם אחיד מ‑ $\{0,1\}^{p(|x|)}$ וההסתברות לטעות היא $\le \frac{1}{2^{p(|x|)+1}}$ , אז גודל קבוצת ה‑ $r$ ‑ים שעליהם המכונה טועה הוא לכל היותר $\frac{1}{2^{p+1}}\cdot 2^{p}=\tfrac12$ — ומכיוון שזה גודל של קבוצה, הוא $0$ . כלומר המכונה תמיד צודקת, ולכן $C_4=\mathrm{P}$ .
$|\{r: \text{error}\}|\le \tfrac{1}{2^{p+1}}\cdot 2^{p}=\tfrac12\ \Longrightarrow\ =0$
דוגמת צעצוע: $A\subseteq\{1,\dots,10\}$ ו‑ $\Pr_{x}[x\in A]\ge\frac{19}{20}$ . אז $|\bar A|\le \frac{1}{20}\cdot 10=\tfrac12$ , ולכן $\bar A=\emptyset$ ו‑ $A=\{1,\dots,10\}$ .
RandomizationPProbabilityCombinatorics
What was said on the recording (1)
- זה אומר שקבוצת הארים שעליהם אני טועה הגודל שלה קטן שווה חצי ולכן ריקה
  nr-i90SFx6s @ 01:18:19
DefinitionRememberL24·21
$|A|=\Pr[A]\cdot|\Omega|$ is the definition of the uniform distribution
זה לא משפט — זו ההגדרה של ההתפלגות האחידה: $\Pr[A]=\frac{|A|}{|\Omega|}$ , ומכאן $|A|=\Pr[A]\cdot|\Omega|$ . זהו הגשר הקבוע בין הסתברות לקומבינטוריקה.
$\Pr[A]=\frac{|A|}{|\Omega|}\ \iff\ |A|=\Pr[A]\cdot|\Omega|$
ProbabilityCombinatoricsFoundations
What was said on the recording (1)
- זה לא משפט. פשוט ההגדרה של התפלגות החידה
  nr-i90SFx6s @ 01:18:49
PitfallRememberL24·22
Don't confuse rejection with failure
"דחייה" נשמע שלילי — אבל כש‑ $x\notin A$ , דחייה היא הצלחה. אל תבלבלו בין דחייה לכישלון: המכונה נדרשת לדחות קלטים שאינם בשפה, וזו התשובה הנכונה.
RandomizationnotationExamProbability
What was said on the recording (1)
- לא לבלבל בין דחיה לכישלון
  nr-i90SFx6s @ 01:21:28
Exam guidanceRememberL24·23
Exam format: 3 hours, 2 open questions, 6 closed
המבחן: שלוש שעות, שתי שאלות פתוחות (עם סעיפים) ושש שאלות סגורות. חלוקת הזמן המומלצת: קצת יותר מחצי מהזמן על הפתוחות (בגלל הכתיבה), קצת פחות מחצי על הסגורות.
"שלוש שעות זה די והותר זמן."
Exam
What was said on the recording (1)
- המבחן שלוש שעות. שתי שאלות פתוחות, שש שאלות סגורות
  nr-i90SFx6s @ 01:21:59
Exam guidanceRememberL24·24
The right allocation of effort — the material, not past exams
"תלמדו את החומר של הקורס": כל השיעורים, כל מה שנעשה בשיעור, כל תרגילי הבית — עד שאתם יודעים אותם פרפקט. רק אחר כך, אם נשאר זמן, מבחנים משנים קודמות.
"כל סמסטר מגיעים סטודנטים ואומרים 'לא תבין כמה מבחנים חרשתי ועדיין היה קשה' — כן, כי לא למדתם כמו שאמרתי ללמוד."
Exam
What was said on the recording (1)
- תלמדו את החומר של הקורס
  nr-i90SFx6s @ 01:23:33
Exam guidanceRememberL24·25
Treat the closed questions as if they were open
"לא לחשוב על זה בכלל בתור שאלות סגורות — לחשוב על זה בתור שאלות פתוחות." על כל סעיף שאלו את עצמכם: אילו הייתי צריך להוכיח או להפריך את זה — מה הייתי כותב? ההבדל היחיד הוא שאין צורך לכתוב את ההוכחה למישהו שיקרא אותה.
לא להקדיש פחות מ‑10 דקות לשאלה סגורה. לא להמר, לא לעשות אלימינציה — לעבור על הסעיפים ולדעת למה בחרתם את מה שבחרתם.
Exam
What was said on the recording (1)
- לא לחשוב על זה בכלל בתור שאלות סגורות לחשוב על זה בתור שאלות פתוחות
  nr-i90SFx6s @ 01:25:05

Statements and things to remember

Lecture 1

Complexity zooms into R

Complexity knows far less than computability

A machine has no running time without an input

Orders of magnitude, not exact counts

Efficiency is always measured against input length

Space is bounded by time

Palindromes: one tape versus two

The price of going from k tapes to one

The universal machine works over a binary alphabet

Time and space of the universal machine

The standard (one-tape) universal machine

"Turing machine" means the standard one-tape machine

Without halting there is no time bound from space

What the constant inside O(·) may depend on

A configuration is a resumable snapshot

Determinism is why a repeated configuration loops

Steps are bounded by the number of configurations

Counting configurations

The log identities you need cold

If the machine halts, time is exponential in space

The full time-space chain

DTIME(f)

DTIME(n²) is an abuse of notation

Palindromes as class membership

DTIME(f) ⊆ DSPACE(f)

What 2^{O(f)} actually means

A decider halts on every input, so halting comes free

DSPACE(f) ⊆ DTIME(2^{O(f)})

The central question of complexity

Computability is absolute, efficiency is not

Which resources get counted

Definition of TIME and SPACE of a run

Simulating a multi-tape machine on one tape

What the O-notation hides

Palindromes: the multi-tape gap is real

The five tapes of the universal machine

Efficiency of the multi-tape universal machine

Why encoding a symbol costs log|Γ| bits

Single-tape universal machine

Every inequality between set sizes hides an injection

Time is not bounded by any function of space

Configuration of a run

Repeating a configuration means never halting

Time is bounded by the number of configurations

Counting configurations

Rewriting powers in base 2

Time is exponentially bounded by space, if the machine halts

Quantifier order fixes what the constant may depend on

Lecture 2

Memorize the configuration count

DTIME(f), formally

Intuition to think with, formalism to prove with

A class is a set of languages, not of machines

DTIME(f) ⊆ DSPACE(f)

In a containment proof you take an element, you don't assume one exists

Never start from the end of a definition

How to prove existence: "consider…"

Write f(|x|), never f(x)

Complexity is the price, the input is what you get

Cite a definition exactly when it hands you an object

DSPACE(f) ⊆ ∪ DTIME(2^{d·f})

Sanity check: build a constant only from what you already hold

"Machine" means the standard one-tape machine

DTIME(n²) is shorthand for a function

The shorthand DTIME(2^{O(f)}) swallows the quantifier

The classes are monotone in f

The definition of O, and dropping n₀

The magic word is "draft"

Refined classes versus coarse classes

The four coarse classes

"Polynomial" alone means nothing

P ⊆ PSPACE

To enter a coarse class, peel the union first

The difference from computability is the parameter count

Don't memorize definitions — use them

The exam is a singular point in time

Monotonicity of DTIME in f

O, and the equivalent form without n₀