愛因斯坦小時候並不活潑，三歲多還不會講話，父母很擔心他是啞巴，帶他去給醫生檢查。還好小愛因斯坦不是啞巴可是直到九歲時講話還不很通暢，所講的每一句話都必須經過吃力但認真的思考。小愛因斯坦是一個誠實的孩子，從不做違心的或騙人的事。為此，他受到同學們的譏笑，給他起了一個綽號叫“誠實的約翰”。普通孩子喜歡玩帶有競爭性的遊戲，可是他卻不喜歡參加。孩子喜歡打仗的遊戲，喜歡看士兵操練，但是他卻從小到大不喜歡任何和軍事有關的東西。他是一個不想看到人類互相殘殺的和平主義者。
愛因斯坦家的住房周圍有花園，他經常一個人長時間地蹲在花園角落的灌木叢里，用手撫摩著小葉片或者凝視著匆匆跑動的螞蟻。他很小就喜歡冥想，想了解大自然的奧秘。一次，在依薩爾河岸野餐時，一位親戚說，小愛因斯坦很嚴肅，當其他的孩子都在互相玩耍、逗樂時，他卻獨自坐著看湖的對岸。母親玻琳深情的為自己的孩子辯護：“他是沉靜的，因為他在思索。等著吧，總有一天他會成為一個教授!”那位親戚感到可笑，但也理解母親的心情。教授!在人們的心目中，只有那些聰敏的人才有可能得到這個榮譽的稱號，這個連話都說不好的笨孩子能成為一個教授嗎?
在四、五歲時，愛因斯坦有一次臥病在床，父親送給他一個羅盤。當他發現指南針不斷地指著固定的方向時，感到非常驚奇，覺得一定有什麼東西深深地隱藏在這現象後面。他一連幾天很高興的玩這羅盤，還糾纏著父親和雅各布叔叔問了一連串問題。儘管他連 “磁”這個詞都說不好，但他卻頑固地想要知道指南針為什麼能指南。這種深刻和持久的印象，愛因斯坦直到六十七歲還能鮮明的回憶出來。
愛因斯坦在念國小和中學時，一般功課屬平常，唯有數學成績遠在全班同學之上。由於他舉止緩慢，不愛同人交往，老師和同學都不喜歡他。教他希臘文和拉丁文的老師對他是那么厭惡，曾經公開罵他：“愛因斯坦，你長大後肯定不會成器。”而且因為怕他在課堂上會影響其他學生，竟想把他趕出校門。
愛因斯坦的叔叔雅各布在電器工廠里專門負責技術方面的事務，而愛因斯坦的父親則負責商業的往來。雅各布是一個工程師，自己就非常喜愛數學，當小愛因斯坦來找他問問題時，他總是用很淺顯通俗的語言把數學知識介紹給他。
有一天愛因斯坦跑來問叔叔：“什麼是代數”?叔叔就這樣解釋：“在算術中有很多問題不容易解決，要算又很難。而代數是一門'快樂'的數學，能很容易的幫人們解答困難的計算。我們把我們不知道的數叫著X，然後來捕捉它。你把它當作已知道的東西，建立一些關係，最後你就可以容易地得到它了。”然後叔叔給了他一本有代數問題的小冊子，愛因斯坦很快就學會了解決裡面的問題。
有一次雅各布叔叔給他講了幾何中一個很美麗的定理──畢達哥拉斯定理：任何直角三角形的長邊平方一定等於兩短邊平方的和。叔叔沒有告訴他這個定理的證明，但是愛因斯坦在畫了許多直角三角形後發現這關係一直成立，感到非常的驚奇。
父親的生意做得並不好，但卻是一個樂觀和心地善良的人，家裡每星期都有一個晚上要邀請來慕尼黑念書的窮學生吃飯，這樣等於是救濟他們。其中有一對來自立陶宛的猶太兄弟麥克斯和伯納德，他們都是學醫科的，都喜歡閱讀書籍，興趣廣泛。他們被邀請來愛因斯坦家裡吃飯，並和羞答答、長著黑頭髮和棕色眼睛的小愛因斯坦交成了好朋友。
麥克斯可以說是愛因斯坦的“啟蒙老師”，他借了一些通俗的自然科學普及讀物給他看，看完後就和愛因斯坦討論，並且再繼續提供給他新的讀物。麥克斯點燃了愛因斯坦自學的興趣火花，還不斷地輔導他。
麥克斯在愛因斯坦十二歲時給了他一本施皮爾克的平面幾何教科書，一下子攫取了愛因斯坦的心靈。愛因斯坦晚年時回憶這本神聖的小書時說：“這本書里有許多斷言，比如，三角形的三個高交於一點，它們本身雖然並不是顯而易見的，但是可以很可靠地加以證明，以致任何懷疑似乎都不可能。這種明晰性和可靠性給我造成了一種難以形容的印象。”