頼朝は流された当初、清盛に疑いを抱かれないよう、ひたすら仏心を装い、熱心に仏典を学んだり、近隣の僧を呼んで説教を受けたりしています。また、しばしば伊豆山権現に出向き、僧侶の説教を聴いたりするのです。箱根権現と伊豆山権現の二社は頼朝の終生の聖地となるのです。ことに後者の伊豆山権現は、頼朝にとって尊崇の聖地ばかりか、政子と夫婦となった忘れえぬ場所でもあったわけです。
このように、平家打倒の心底を隠し、もっぱら仏徒のような日々を送らなければならなかったのです。
しかし、長ずるに及び頼朝の挙兵の意識は日々たかまってまいります。
清盛により伊豆韮山に流罪となった、文覚上人などとも交流するようになりますが、これは当時にあって、かなり危険な行動であったのです。
もともと文覚は破天荒な僧侶で、清盛の政治姿勢を激しく糾弾するばかりか、後白河法皇の御所に押しかけ直訴・強訴するなど、京都市中に騒擾を巻き起こしていました。仏法教理より政治的行動のほうが目立つ僧侶であったわけです。
頼朝がこのような危険きわまりない人間と交際するのも、ひとえに京中枢部の情報収集が目的であったからです。
このような頼朝が流刑地でみせる行動は、たんに青春浪漫のためでも仏法求道のためでもありません。頼朝の本当の狙いは、やがて平家打倒を旗印に挙兵する際、かれらが力強い助け、与力、援軍となってくれることを願っていたからです。頼朝の深慮のなせる戦略であり、その後の頼朝に大変貴重なチャンスを授け、鎌倉幕府創設のおおいなる礎石になったのです。さらにまた、非業の最期をとげた父義朝の遺志をつぐ頼朝の、平氏誅滅・源氏再興達成への闘魂のなせる業であったことでしょう。
やがて、幼い頼朝にも恋の季節がやってきます。青年に成長した頼朝は、なかなかの情熱家であったようで、近隣の村娘との恋情も数知れなかったようです。こうしたことを正史はあまり記載しないものです。
ですが、その足跡を辿ると、三浦半島から南伊豆地方あたりまで痕跡が残ります。
今も熱海（秋津郷）近辺には、頼朝が通った道があります。韮山あるいは伊東あたりから、伊豆山権現を参詣する時や、伊東祐親に八重姫との仲を裂かれた挙句、伊豆山権現へ逃げ走った道でもあったことでしょう。
頼朝は生来、理性透徹、理非曲直が峻厳、あるいはまた読顔術に長ずる、などと言われています。
理性透徹、理非曲直が峻厳というのは、物事の公平、正義、明確な指導指針などをしめすということですが、剛直だが粗野磊落な関東武者を統率する上で、こうした態度を示すことが必要であったのです。
また、多くの史書に、頼朝が読顔術に長じている、とする記載があります。人の顔色を読み、的確にその人物を評価する能力をもっていたというのです。
これらは、本来の性格によるところが大きいのでしょうが、頼朝のような20年にもおよぶ流罪人の身にとっては、平清盛政権を恐れる日々を送る環境が大きく影響していたことでしょう。頼朝の周囲のすべての者が、何時、敵となって殺しにくるかもしれない状態を考えれば、どうしても周囲への目くばりばかりが発達するようになり、害から身を防ぐ素質が研ぎ澄まされことになります。まず、人を信じなくなります。事実、頼朝は猜疑心の強い人柄といわれています。こうしたことを髣髴させる場面が、吾妻鑑など多くの古文書にみられます。
このような環境がその後の人生にどのような影響を及ぼすか、大変に興味のあるところです。
細心緻密にして思慮深い人間になるか、自己主張が強く非協調性の人間になるか、卑屈・偏向が犯罪の道に進ませるか、反社会的活動に執心する人間になるか、それはわかりません。
実のところ、どのような人間になるか、ははっきりしたことはわからないのです。その人が生来もつ遺伝因子エド（フロイド説）が、その後の性格形成の重要な因子の一つであるとする考え方が、真実に近いのではないでしょか。
