存在しないページのURLを入力した場合
404のエラーページが出るはずですが
wordpressのページが表示されてしまい
あたかもそのページが存在してるかの
ように見えてしまいます。

しばらく「迷い道くねくね～」してましたが
なんとテンプレートに404.phpが
ないためということが判明！
Creating an Error 404 Page - WordPress Codex 日本語版

WordPress のデフォルトテーマには 404.php ファイルが含まれています。しかし、すべてのテーマが独自の 404 エラーのテンプレートファイルを用意しているとは限りません。用意されている場合、404.php というファイル名になっています。「お探しのページが見つかりませんでした」エラーが発生したとき、WordPress は自動的にこのページを使用します。

ってありますが、404エラーでも
404.phpがなければデフォルトテンプレートを
適用してページあるかのように表示してしまうとは。。。

/wp-content/themes/default/404.php を、現在利用しているテーマのディレクトリにコピーする。

と無事にエラーページが表示されたので
とりあえず静的htmlのページを404.phpに改名して
テーマのディレクトリにおいて目的達成
と思いきや、こんどはgoogleのエラーページになっちゃた？

おお、さっき迷い道くねくねしてる時にそんなページがあったような
遠回りも決して無駄ではないのだ。
Google Toolbarで、404を乗っ取る機能が実装
Googleの404ジャック機能 | google chrome | 『Weblogy』

ナビゲーション エラーのヒントを有効または無効にする
1. ツールバーのレンチ レンチアイコンをクリックします。
2. [検索] タブの [正しい URL の候補を表示する] をオンまたはオフにします。
3. [保存] をクリックします。

はい、無事エラーページが表示されました