しかし、この段階ではすでに国内に外国人が数多く駐留するようになっており、将来的に鎖国に戻すつもりであることを前提にした天皇の言葉を公表することはできませんでした。しかも開国してみるとますます諸外国との力の差や技術の差を見せつけられる形になり、将来鎖国に戻すことなど到底出来そうもないという状況になっていたのです。こういった事情を知らない藩士や大名の中には井伊直弼のやり方に反発する者も多く出るようになり、直弼は身に危険を感じることも増えていったと言われています。
本来であれば、大老であった井伊直弼は自身の警護のために数多くの護衛を付けて出歩くことができます。ところが、直弼に反発する人々が暴挙に出る可能性もあるとして、友人が直弼にとりあえず大老を辞めて事態が落ち着くまで身を隠した方が良いと勧めた際、直弼は国が存亡の縁に立たされている時に自分だけ安全な場所で安穏としているわけにはいかないと言ったと伝えられています。友人は、身を隠すつもりがないのなら、せめて警護の数を増やして移動時の安全を確保するように勧めましたが、井伊直弼は大名の警護の人数は幕府の規定で決まっているため、自分だけその規定を破るわけにはいかないとして警護の人数を増やすことすら拒否しました。
しかし身の危険を全く感じていなかった訳ではないようで、暗殺される5年前に親しい家臣に宛てた手紙の中で、不安や悩みなども正直に語られています。毎日が恐ろしく、まるで薄氷の上を歩いているような心持だということ、想定していたよりも厳しい事態になってしまって先行きが不安であること、力のある水戸藩主に睨まれてしまい、国のためとは言え心痛の極みであることなどが切々と書かれていました。この手紙と一緒に、井伊直弼は自らの手で自分の戒名を記して同封していたとも伝えられています。大老として難しい判断を迫られ、反対を押し切って開国に踏み切ったころから常に身の危険を自覚していたのでしょう。
このように、一般的には多くの人を弾圧して無理やり開国を進めた悪役として語られることの多い井伊直弼ですが、若い頃や大老となった後も意外性のあるエピソードがいくつもあることに驚かれたのではないでしょうか。生真面目で責任感が強く、日本の将来を的確に見抜いて対応しようとしていた井伊直弼は、ひと口に悪役とまとめることのできない大人物だった可能性もあると言えるでしょう。