יוסף ידע שאחיו יכולים לשאול את הישמעלים למי הם מכרו אותו, ואם האחים רוצים הם יכולים לחפש אותו. כיוון שהם לא חיפשו הוא הניח שכל המשפחה החליטה לשכוח אותו.[1] הרב בן נון מסביר שייתכן ויוסף חשב שאביו שלח אותו לאחיו בשכם, כדי שאחיו יפגעו בו, יפשיטו אותו וימכרו אותו לעבדות, בגלל החלום השני שלו, שגרם שאביו יגער בו (בראשית לז י).

יוסף ידע שכך קרה לאבותיו:

1.אברהם לקח את יצחק לעקדה, ואלוהים הביא את האייל והציל את יצחק.

2.יצחק שלח את יעקב בחוסר כול לחרן, ואלוהים, בחלום הלילה הבטיח ליעקב לשמור עליו.

3.ייתכן שיוסף חשב שיעקב שלח אותו לנסיון שלו, והאמין שהחלומות שלו הם מסר מאלוהים, ובהמשך אחיו ישתחוו לו.

יוסף ידע שלאחר העקדה נפרד יצחק מאביו, וגם יעקב נמנע מלשוב לאביו שנים רבות.

בשלוש-עשרה השנים הראשונות יוסף היה עבד ובכלא. יוסף עבד בחריצות לפוטיפר שר הטבחים, כשם שאביו עבד ללבן, וחיכה שאלוהים ינחה אותו.

אחרי שיוסף פתר את החלומות של פרעה הוא הבין את תוכניתו של אלוהים להביא את אחיו אליו, בשנות הרעב. יוסף האמין שאחיו יבאו וישתחוו לו והוא יאכיל אותם, והוא רק צריך לחכות בסבלנות ולא להפריע לאלוהים.

אם יוסף היה מבקר בכנען ומראה את מעמדו, היתה אפשרות שאחיו ואביו לא ישתחוו לו בכניעה, ואם הם היו משתחווים, אז זה היה רק כמתן כבוד לאורח או קרוב משפחה, (אברהם השתחווה למלאכים,[2] ויעקב לעשו,[3]) וכך חלומו על רעב וחלוקת אוכל לא היה מתקיים בהם.[4]

ר' יהודה החסיד הסביר שאם יוסף היה בא, ושואל האם יעקב שלח אותו למצרים, יעקב היה מבין שהאחים עשו זאת ליוסף, והוא היה מוציא דיבה רעה על אחיו בפעם השניה (בראשית לז ב).

בשנות השפע יוסף היה עסוק בעבודה, וסביר שיוסף ידע שפרעה לא יתן לו לצאת ממצרים ואפילו חשש לבקש. בהמשך, רואים שיוסף חשש שפרעה לא יתן לו לצאת ממצרים לקבור את אביו, ולכן הוא נמנע מלהבטיח ליעקב שהוא יקבור אותו בכנען. יעקב נבהל שיוסף לא נשבע, ודרש ממנו בשנית להשבע (בראשית מז לא). ואכן פרעה השתכנע לתת ליוסף לצאת ממצרים רק כאשר הוא שמע שיוסף נשבע לאביו (אולי בשמו של פרעה), והפך לטמא, כאשר הוא בכה ונישק את אביו, ואסור היה לו להכנס לארמון.