岳飛從小就參加各種勞動，如牧牛放羊、拾柴剖草、燒火煮飯之類。因自幼嚴酷的勞動鍛練等因素，造就了岳飛驚人的膂力。岳飛非常喜愛武術。岳飛年紀不滿二十歲，已能挽弓三百斤(宋朝一斤約合今1.2市斤)，用腰部開弩八石(宋朝一石為92.5斤，約合今110市斤)。按宋朝軍制，“弓射一石五斗”，已算武藝超群，可選充“班直”，當皇帝的近衛。北宋武士挽弓的最高紀錄也只有三石⑾。可知岳飛的挽弓能力已至登峰造極的境地。
岳飛十幾歲時，曾向“鄉豪”周同學習射箭。周同當眾表演，連發三箭，都射中靶心。岳飛取過弓來，也射了兩箭，居然射破周同的箭筈。周同大驚，立即將兩張心愛的弓贈送岳飛。只花費數日功夫，周同就傳授了岳飛全部射箭的訣竅。經過苦心練習，岳飛能夠左右開弓，百發百中。
後來周同病死，岳飛悲痛不已。每月初一日和十五日，都要到周同墳前弔唁。由於經濟拮据，岳飛甚至典賣了自己的衣服，在墳前酹酒埋肉。岳和發現兒子的衣著突然一件件去向不明，便追問岳飛，甚至笞撻他，而岳飛卻既不埋怨父親，也不說實情。後經岳和暗地裡跟蹤，方才發現了兒子的秘密，轉而稱讚岳飛。
岳飛一家祖祖輩輩扶犁握鋤，不可能有多少文化，宋代的農村，有所謂“冬學”，從十月到十二月，利用農閒，由窮書生教課。課本有《百家姓》、《乾字文》、《雜字》之類，時稱“村書”。農家子弟認識一些字，可能會少受一些官吏、保正、保長、攬戶(以承攬他人賦稅的輸納為業者)和地主的欺詐。農家子弟入學，並不是為入仕當“公卿”。
岳飛可能也在冬學裡念過村書。儘管他對文化知識如饑似渴，但在當時的社會環境下，農家子弟一般不可能在文化上得到深造。窮困的岳家無力購置蠟燭之類，在白天辛勤勞作之餘，岳飛經常靠燃燒枯枝敗葉發出的火光，看書識字，以至通宵不寐。他天資聰穎，記憶力強，又有持久不懈的頑強毅力。後來當將帥時，終於有相當的文化水平，“略知書傳”，即懂一些儒家經典，能賦詩，填詞，作文，寫行書，其書法則學蘇軾，“字尚蘇體”。
從上面我們可知少年岳飛具有吃苦耐勞，武藝超群、知恩圖報、聰明好學等品質。