修正されていることを確認しました。
本件をクローズとします。

上記のあと調査したら、なぜtag__inになるのかと思ったら、Cocoon設定に書いてありました。

やはり、get_the_category_idsでカテゴリーBがあるのに、category__inを設定していないことが原因です。

tmp/related-list.php

関連記事取得用のWP_Queryパラメータを設定する。get_related_wp_query_args


lib/related-entries.php

関数get_related_wp_query_argsで
関数get_the_category_ids、関数get_the_tag_idsを呼び、関連性に応じ
category__in、tag__inを設定

戻る際、フックによりget_additional_related_wp_query_argsが呼ばれる。

関数get_additional_related_wp_query_argsでcategory__inが無いのでtag__inが設定を設定するが、カテゴリーBのみなので空なる。

●問題点

https://github.com/xserver-inc/cocoon/blob/d598036feb5f1441c967cc8619061ce42d2e1c24/lib/related-entries.php#L76-L89

先にも指摘してますが以下なのでは？

function get_the_category_ids($post_id){
  $categories = get_the_category($post_id);
  $category_IDs = array();

  foreach($categories as $category):
    array_push( $category_IDs, $category->cat_ID);
  endforeach ;

  return $category_IDs;
}

条件が違います。
投稿Aに、カテゴリーBだけを付与してください。タグCは不要です。

→→関連性「カテゴリー」

以下での$argsの値でなぜcategory__inでないのか？

https://github.com/xserver-inc/cocoon/blob/d5d8953601d039be4dfc818016cced9a04777b21/tmp/related-list.php#L12

カテゴリーB
 Array
(
     => post
     => Array
        (
             => 70326
        )

     => 6
     => rand
     => 1
     => Array★タグで絞り込んでいるが、本来、カテゴリーAで絞り込むのでは？
        (
        )

)

カテゴリーB,タグC
 Array
(
     => post
     => Array
        (
             => 70326
        )

     => 6
     => rand
     => 1
     => Array★タグがあると、投稿Aを除外しタグCで絞り込むため、関連記事なしとなる。
        (
             => 664
        )

)

僕の環境で「投稿A」を作成後新たに「カテゴリーB」と「タグC」を作成しました。
そして、「カテゴリーB」と「タグC」に対して、「投稿A」だけを登録した状態にして、テストしてみました。

僕の環境では、→→関連性で「カテゴリー」と「タグ」いずれを選択しても関連記事には、「関連記事は見つかりませんでした。」と表示されるようです。

●前提条件

投稿にカテゴリーID=xxxだけを割り当てた。
カテゴリーID=xxxはこの投稿の1件しかない。

●現象

→→関連性「カテゴリー」とした。
このとき、関連記事には、カテゴリーに関係ない投稿が表示される。

なお、「タグ」とした場合、投稿に割り当てたタグID=xxxが1件しかない場合、「関連記事は見つかりませんでした。」と表示される。

●原因

以下でカテゴリーが登録されない。
カテゴリーの投稿数-1カテゴリーの投稿数が0未満の場合、カテゴリーを設定しない。

https://github.com/xserver-inc/cocoon/blob/d5d8953601d039be4dfc818016cced9a04777b21/lib/related-entries.php#L79-L83

このため、wp_queryのパラメータでcategory__inが空となる。
結果、全投稿が対象となり、関係ない投稿が表示された。

array(6) {
        => string(4) "post"
     => array(1) {
                  => int(49422)
  }
   => int(4)
          => string(4) "rand"
    => bool(true)
     => array(0) {
  }
}