כשיוסף גילה את אחיו במצרים, הוא היה קשה איתם וכפה עליהם להיות תחת השגחה ופיקוח. יוסף אישית חקר אותם (בראשית מב ז), הזהיר אותם בחריפות לא לרגל במצרים (בראשית מב ט), ריגל והקשיב לדבריהם מעבר למחיצה (בראשית מב כג), הכניס אותם למעצר לשלושה ימים (בראשית מב יז), החזיק את שמעון כבן ערובה (בראשית מב כד), דרש שיביאו את אחיהם הקטן (בראשית מב כ), איים להורגם (בראשית מב כ), והשיב להם את כספם כדי להאיץ בהם לברוח ממצרים כגנבים (בראשית מב כח).

גם בביקור השני, יוסף מיד הוציא אותם מהתור, ושלח אותם לביתו עם ליווי (בראשית מג יז), האכיל, השקה ואכסן אותם בביתו (בראשית מג לד), הפריד אותם מהמצרים בזמן הארוחה (בראשית מג לב) כדי שהם לא ישאלו שאלות, רדף אחריהם מיד אחרי שהם עזבו את ביתו (בראשית מד ד), השיב אותם חזרה לביתו כאשר הם מאושמים בגנבה (בראשית מד יג), הוציא את כל אנשיו כאשר הוא התגלה לאחיו (בראשית מה א), והלך לבדו לפרעה לקבל רשות להביא את משפחתו למצרים (בראשית מה יז).

יוסף נבהל כאשר הוא ראה את אחיו. יוסף פחד שאחיו יחפשו אותו וישאלו שאלות עליו, כמרגלים. ליוסף היה חשוב שאחיו לא יפיצו מידע על חלומותיו, לכן נאמר: "וַיִּזְכֹּר יוֹסֵף אֵת הַחֲלֹמוֹת אֲשֶׁר חָלַם לָהֶם" (בראשית מב ט). הדגש שיוסף חלם לאחיו בלבד (להם) ולא למצרים. יוסף לא היה יכול להתעלם מהם, עכשו שיש לו אישה וילדים אהובים.

בחיפושיהם, האחים היו יכולים לספר על אחיהם, שהיה חולם חלומות (בראשית לז ט). אנשים היו מזהים שהמשנה למלך, צפנת פענח, שהיה עבד עברי, ופתר חלומות הוא האיש שהם מחפשים. אם האחים היו מפיצים במצרים את החלום השני של יוסף, שהשמש והירח ואחד עשר כוכבים משתחווים ליוסף, המצרים מיד היו מבינים שאל השמש ואל הירח ואלוהי מצרים משתחווים ליוסף, ויוסף רוצה להיות מלך מצרים. אין ספק שמרגל היה מדווח לפרעה את החלום הזה, ופרעה היה דורש הסברים. לא משנה מה יוסף היה מסביר, יחסי האמון בין פרעה ליוסף היו פוקעים, פרעה היה מתנגד שאחיו של יוסף יתנחלו במצרים, ויוסף היה מפוטר מיד, הן אין יותר צורך בו. יוסף לא היה יכול לתת לדבר כזה לקרות, לכן הוא שמר על אחיו רחוק מפרעה, ודאג שהם יגידו לפרעה רק מה שהוא ירשה להם להגיד (בראשית מו לג-לד).