儘管雅虎攜門戶、信箱及搜尋產品，成為了網際網路領域早期的標桿性企業，但是隨著2004年帶著新一代網際網路技術核心的搜尋引擎公司——google叩響資本市場的大門，雅虎開始逐漸被邊緣化，屬於它的黃金時代不足十年。
google公司於2004年4月登入納斯達克，融資16。6億美元，成為投資者追捧的新一代網際網路明星企業，並於兩年後在市值上反超雅虎，成為全球最大網路公司。google之後，又有以社交網路產品為核心的facebook成為全世界新的網際網路明星。
雅虎越來越淪為一個“旁觀者”的角色，市值也一路下滑至不足200億美元，不足最高值的六分之一。
投資者開始批評雅虎過去十年的戰略失誤，將先後錯失了搜尋和社交網路兩次轉型機遇一事，與這位性絡溫和、言辭又缺乏感染力的創始人聯繫在一起。
2011年5月，雅虎經歷了支付寶股權轉讓風波——阿里巴巴管理層轉讓支付寶股權並擅自終止vie協定控制。雅虎在處理此事的過程中給外界留下“十分被動”的不利印象，與此同時，雅虎還遭遇“未對投資者及時進行訊息披露”的批評。
“這是一場包括多個層次的談判，首先我們認為已經滿足了中國政府對於發放支付業務牌照的許可條件。此外，雅虎必須明確股權轉讓的相應補償是什麼。但無論如何，獲得牌照必須是第一位的。”為了更好地為阿里巴巴投資現狀進行註解，在巴茨接任ceo之後已逐漸淡出雅虎管理層的楊致遠，在出席投資者日活動時，以雅虎派駐阿里巴巴董事的身份向投資人解讀談判進展。這也是他去職前最後一次公開演說。
台上的楊致遠，談吐清晰誠懇，保持著他一貫的謙和之氣，但台下的投資人對雅虎的失望之情溢於言表。
華爾街數位分析師指出，此番楊致遠從雅虎去職，更多的應該是公司投資人針對楊過去幾年問題的“秋後算賬”，包括拒絕微軟收購，以及對亞洲資產“看管不嚴”。
“友好弱勢的人無法應對正在走下坡路的公司的多重挑戰。”資深網際網路人士、雅虎中國前總經理謝文分析指出，楊的離開在公司內部應該“醞釀已久”，現在新ceo到位，是楊離開的最佳時機。
在謝文看來，楊雖然成為犧牲品，但面對強敵林立，新ceo若選擇強勢出場，提出新戰略，重振士氣，雅虎亦或有一線生機。
投資者的時代
2007年的雅虎，在前一任ceo因提振公司業績不力而被迫離職後，曾淡出管理層的楊致遠再度接棒。2008年1月31日，微軟向雅虎提出，希望以每股31美元的現金加股票收購雅虎全部股份。但身負創始人情結的楊致遠，最終拒絕了這筆高達470億美元的交易。
這件事成為楊致遠個人與雅虎股東交惡的起點。有激進投資者不滿其決策而第一次提出“讓楊致遠下台”。
“楊致遠對雅虎的功勞都看得見，他也應承擔雅虎失敗的責任，我認為他做的最錯誤的決定就是拒絕了微軟的收購。”雅虎投資人之一、美國智治基金創始人艾里克·傑克森對財新《新世紀》回憶說，楊致遠是根本不想賣出公司。
“我不認為他是出於報價不夠高的考慮。他就是不想雅虎被納入微軟旗下然後自己的員工被裁掉，他希望對員工和公司負責，但事實證明他做了錯誤的選擇。”傑克森說。
2008年11月18日，雅虎董事會宣布ceo楊致遠離職，只留任董事會成員。隨後雅虎迎來公司歷史上第四位ceo——卡羅爾·巴茨。但這位矽谷著名的“鐵娘子”也無力回天，於2011年9月被董事會解僱，這令雅虎內部陷入更大的混亂。
隨後雅虎緊急聘請全球最大的管理諮詢機構博思艾倫諮詢公司和高盛，對其進行戰略評估，評估的內容包括出售雅虎。彼時，雅虎的收盤價低於16美元/股，這令眾多雅虎股東不由地再度想起當年微軟欲以33美元/股收購公司的往事，對楊主導的董事會的種種不滿情緒開始回升。