『見出し２』では、このようにしたいです。

『見出し４』はこのような感じです。

ちなみにこちらのサイトでコピーし、テーマエディターのcssへ貼り付けしました。

https://saruwakakun.com/html-css/reference/h-design

スキンは何をご利用ですか？

意図した通りの表示にするためには、元のスタイルを無効化するCSSで上書きする必要があります。

例えば

h2 {
    border-top: none;
}

のような。

cocoonのスキンを使用しています。

Season (Spring)   [作者: ぽんひろ]　になります。

そちらの方再度確認してみます。

@nan さん

Wordpress.org の方で立ち上げられたようで、良かったです。

（見出しの件は、はるさんがご案内くださるかと思います。）

こんな感じですね。
「/*」から「*/」までの部分はコメントなので削除して大丈夫です。

.article h2 {
  border-top: none;
  /*
    ↑seasonのスタイルを打ち消すためのコード
    ↓サルワカからコピペしたコード
  */
  padding: 0.4em 0.5em;
  color: #494949;
  background: #f4f4f4;
  border-left: solid 5px #7db4e6;
  border-bottom: solid 3px #d7d7d7;
}
.article h4 {
  border-left: none;
  color: #494949;
  /*
    ↑seasonのスタイルを打ち消すためのコード
    ↓サルワカからコピペしたコード
  */
  border-bottom: solid 3px #cce4ff;
  position: relative;
}
/*
↓サルワカからコピペしたコード
*/
.article h4:after {
  position: absolute;
  content: " ";
  display: block;
  border-bottom: solid 3px #5472cd;
  bottom: -3px;
  width: 20%;
}

スキンを変えたり適用したいデザインを変えたりするならばまた修正の必要があります。

ご自身で修正できるようになると良いですね。
今回はskins/skin-season-spring/style.cssの、見出しについて書かれているのが649行目辺りなので、そこから打ち消したいのをnoneにしました。

リフィトリーさん＞　はい！無事wordpress.orgへの変更できました！いろいろありがとうございます！

はるさん＞そちらの方入れたら無事解決できました！ありがとうございます！

@nan さん

CSSのコードの中に余分な文字が入っているようです。

おそらくテーマエディター上では、目視できないと思います。

余分な文字が入っていますと、コードが無効になってしまう場合があるようです。

CotEditor など、文字コードをUTF-8（BOMなし）でプレーンテキストを扱うことができるテキストエディターでコードを編集されることをオススメします。

CotEditor