子テーマのfunctions.phpに以下の関数を貼り付けて、内部動作をそのように書き換えればできるかと思います。

function add_ads_before_1st_h2($the_content) {
  // if ( is_amp() ) {
  //   return $the_content;
  // }
  if ( is_singular() && //投稿日・固定ページのとき
       is_ad_pos_content_middle_visible() &&//設定で表示が許可されているとき
       is_all_adsenses_visible() //AdSense設定項目で表示が許可されているか
  ){
    //広告（AdSense）タグを記入
    ob_start();//バッファリング
    get_template_part_with_ad_format(get_ad_pos_content_middle_format(), 'ad-content-middle', is_ad_pos_content_middle_label_visible());
    $ad_template = ob_get_clean();
    $h2result = get_h2_included_in_body( $the_content );//本文にH2タグが含まれていれば取得
    //H2見出しが本文中にある場合のみ
    if ( $h2result ) {
      //本文全てのH2見出し手前に広告を表示するか
      if (is_ad_pos_all_content_middle_visible()) {
        //無制限に置換する
        $limit = -1;
      } else {
        //最初のH2の手前に広告を挿入（最初のH2を置換）
        $limit = 1;
      }


      $the_content = preg_replace(H2_REG, $ad_template.PHP_EOL.PHP_EOL.$h2result, $the_content, $limit);
    }
  }
  return $the_content;
} 

ただ、PHP処理がある程度分かっていないと厳しいかもしれません。

全く私的な事情で申し訳ないのですが、「ページに出現する最初の H2 見出し手前だけは広告を表示しない。」と言う設定は難しいでしょうか？

以前作ったサイトを再構築と言う事もあり、ページタイトルの下にすぐ H2 が現れてしまう作り方をしてしまったんです。

ほとんどが、こういう構造のため、いきなり広告が現れてしまうんです。
「これはちょっと…どうなんだろ。」と言う感じになってしまっているんです。

もしできれば、と思い要望提案させていただきました。

このディレクトリ以下が対象のページ群です。
http://antonsan.net/vt/excel-db

例えばこちらのページです。
http://antonsan.net/vt/excel-db/page-091

お手数をおかけいたしますが、ご検討のほどよろしくお願いします。