בשנת 2001, הולי מדיסון עברה לאחוזת פלייבוי כאחת החברות של יו הפנר. בספר הזיכרונות של מדיסון מ-2015, Down the Rabbit Hole, היא חשפה שהיא עמדה אז בפני חסרי בית וחובות בכרטיסי אשראי. היא מעולם לא הייתה שותפה לפלייבוי כמו רוב הבנות של הף, אבל היא הצטלמה בעירום לגיליון הקידום של פלייבוי עבור תוכנית הריאליטי שלה The Girls Next Door. שם, זכינו לראות את חייה באחוזה עם שתי החברות הנוספות של הף באותה תקופה, קנדרה ווילקינסון ובריג'ט מרקארד. התוכנית שודרה ב-E! מ-2005 עד 2009.
מדיסון עזבה את עבודתה עבור פלייבוי בפברואר 2009 בעקבות הפרידה שלה עם ענקית התקשורת המנוחה. בשנים הבאות היא תדבר בגלוי על "החוויה הטראומטית" שלה עם החברה.כתוצאה מכך, היא נותרה האקסית המוכרת ביותר של מייסד פלייבוי עד היום. הנה כמה מהדברים המטרידים שהיא אמרה על הזמן שלה איתו ובאחוזת פלייבוי.
הולי מדיסון אמרה שהקשר שלה עם יו הפנר הוא 'תסמונת שטוקהולם מאוד'
כל האקסים של הף כמעט פנו אליו, במיוחד לאחר מותו. אבל מדיסון אמר את ההצהרות המפורשות ביותר על הסביבה ה"רעילה" שיצר מייסד פלייבוי. "התחלתי להרגיש שאני מאוהבת בו בדומה מאוד, כשאני מסתכלת על זה לאחור, אני מרגישה שזה סוג מאוד של תסמונת שטוקהולם", אמרה הדוגמנית של עמדת "החברה הראשית" שלה. "פשוט הרגשתי שאני מזדהה איתו והוא החמיא לי כל כך בהתחלה, ופשוט התחלתי, בראש שלי, להאשים את כל שאר הבעיות על הנשים האחרות. כמו, 'אוי, זה מצב עלוב, אבל אם הנשים האחרות האלה לא היו כאן, זה לא היה ככה.'" היא גם הודתה שבתחילה חשבה שזו תהיה "חוויה מהנה… מטורפת."
מדיסון הוסיפה שהף גרם לה להרגיש אשמה על כך שעזבה. "הוא התחיל להתפרץ עליי יותר על דברים ממש טיפשיים ופשוט הבנתי, כאילו, אני לא יכולה להיות כאן, כאילו, הבחור הזה הוא חור", היא אמרה לפודקאסט Call Her Daddy באפריל 2021. אבל אפילו בכל זאת, הרגשתי אשמה כשעזבתי. זה לקח זמן, לקח לי להתעניין בגבר אחר עד שחשבתי לבסוף, 'אני חייב לנתק את התקע כי אני לא הולך לבגוד'. זה פשוט הולך ביחד עם כל הדברים שמפציצים אהבה ו"אנחנו הולכים להיות ביחד לנצח, ואנחנו הולכים להיות ביחד כל החיים שלי" ובלה, בלה, בלה. הוא היה משווה אותי לבל ביופי וביסט, כאילו, הרגע באתי לטירה הזו." הכרטיס הזה של דיסני בהחלט מוזר.
הולי מדיסון אמרה שהחיים באחוזת פלייבוי היו 'כמו-כת'
חברים רבים למשחק נפתחו לגבי הכללים ה"מחמירים" בתוך אחוזת פלייבוי.היה להם עוצר בשעה 21:00, "קוד התנהגות קפדני", ומיילים אזהרה על כל התנהגות בלתי הולמת. אבל לפי כוכבת Girl Next Door, זה היה הרבה יותר "רעיל" מזה. "כמעט הייתי רוצה להסתגר בקופסה הזו, באופן, שלא היה קשה לעשות שם, כי בכל מקרה זו אווירה מאוד דמוית כת, ומפעילים אותך להרגיש כך", אמרה על הזמן שלה באחוזה. בשלב מסוים, היא גם הרגישה שהיא לעולם לא תצליח בעולם שבחוץ. "סוג הבושה שלי השאירה אותי גם שם," היא אמרה.
היא המשיכה, "לא ממש יכולתי לדמיין חיים מחוץ לשם. כמו שחשבתי, 'אוקיי, זו התחנה האחרונה שלי. אם אני רוצה להביא ילדים, אני הולכת לנסות'. ואז כשידעתי שזאת לא תהיה אפשרות איתו, כמו שניסינו במבחנה והכל. זה לא עבד. הייתי כמו, 'אוקיי, טוב, אם לא יהיו לי ילדים כאן, זה משהו שאני צריך לחשוב עליו. זה באמת כמו גזר דין מוות, במובן מסוים.'" נוסף על כך, מדיסון גם סבלה מדיסמורפיה בגוף לאורך הקריירה שלה בפלייבוי. "לפוסט האחרון חיפשתי תמונות שלי בתחפושת של ארנב", היא אמרה בסרטון של TikTok. "ונתקלתי באחת ו זה הזכיר לי רגע בחיי שבו צפיתי בפלייבק של עצמי בתצוגת אופנה וחשבתי, 'אלוהים אדירים, אני צריך לרדת במשקל'."
היא הזכירה לעוקבים שלה, "אני משתפת את זה כי אני חושבת שזה עשוי לעזור לאנשים להבין שלפעמים הדיסמורפיה בגוף שלנו לא מהטבלאות. ממש מתחשק לי לדאוג איך אני נראה הפריע לי אני חי את החיים הכי טובים שלי, ומאושר ככל שיכולתי, ובאמת נהנה מהחיים כמה שאני יכול". היא המשיכה ואמרה שזה "מגוחך" איך פעם חשבה שהיא צריכה לרדת במשקל כשהיא בעצם "[נראתה] כמו מקל". היא עדיין לא שפכה פרטים נוספים על הצד האפל של פלייבוי בסדרה התיעודית של 2022 Secrets of Playboy.
