サイトのレスポンシブ設定(スマホで閲覧するとレイアウトがスマホ用に改変されるアレ)を解除して、
接続方法問わずPC向けデザインが表示される仕様に変更してみました。

サイトの反応に時間かかってるのがそのレスポンシブ対応のプラグインだったので、
軽くならないかな~と思い解除してみたんですが、
やっぱりスマホから見るならPC版は見にくいですかね。。
サイトを手打ちhtmlやPHPで管理すればもっと軽量化されたサイトが作れそうなのですが、
いかんせん身体がワードプレスに慣れきってしまってもう戻れません笑。
とりあえずしばらくはこの状態で運営していきたいと思います。