ページの表示速度はランキングの決定要因だとGoogleの担当者は公表しているので、ページの表示速度はSEO的に無視できない要素です。
ただし、今より速く表示させたからといって検索順位が上がるわけではありません。
むしろ、表示が遅いページの順位を下げるという意味です。
ですから、ページスピードチェックなどでソコソコのスコアが出ていれば、焦って表示速度を向上させる必要はありません。
逆にページスピードチェックで20点台、30点台の赤点になっているページは検索順位に影響が出ているかもしれません。なんとか表示速度の向上に努めた方がよいでしょう。
表示速度が速いか遅いか語る場合、ほとんどはCMSベースのホームページです。たとえば、WordPressのようなシステムはデータベースやプログラム、Webサーバーが原因で表示が遅くなってくることがよくあります。
その場合、思い切ってエックスサーバー
のような高速なサーバーに乗り換えてみると、サーバー環境が一新されてページの表示速度も劇的に速くなる場合があります。
サーバーの乗り換えができない場合はサーバーキャッシュ系のプラグインを使ってパフォーマンス向上に努める方法があります。WordPressが遅くなる原因は基本的にはサーバー側の処理の問題なので、サーバー側でキャッシュするプラグインを使えば理論的には必ず速くなります。
ただし、自分が求めるレベルまで達するかどうかは定かではありませんが。
【参考】Googleがスピードアップデート(Speed Update)を導入、2018年7月からページ表示速度をランキング要因に | 海外SEO情報ブログ