header.phpの以下を削除するとか。

<?php body_class(); ?>

cocoon-style-inline-cssは、設定関連のものだと思います。どの部分か不明ですので、調べるのを端折りましたが、css-custom.phpの云々とかでしょうか？

それともCSSの上書きで消すとかでしょうか？

消す方法はあるかないかで言えばあります。
けれど、正常動作しなくなると思います。

Cssの上書きで消そうかと思ったのですが
bodyのクラスやインラインだと、
他で上書きしようと思っても優先されてしまうので
何か良い方法がないかと思いまして…

基本的に、CSSセレクターの優先度を高くすれば、CSSは上書きできるかと思います。
https://nelog.jp/specificity-calculator

style id='cocoon-style-inline-css'自体も、インラインではありません（id名はWordPress関数を使うとそのように出力されてしまいます…）。
インラインとは、タグに対して「style="スタイル"」と指定する場合がインラインです。
子テーマのstyle.cssにCSSセレクタの優先度を上位にして書き込めば、順番的にもスタイルの上書きができるかと思います。

僕も同じことで困りました。いろいろ調べてみたところ、

/tmp/utils.phpに、wp_add_inline_styleで追加していますので、それを削除すれば解決しました。

といっても、マスターテーマを直接いぢれないので、スキンテーマのfunction.phpで、以下のようにしました。

add_action( 'wp_print_styles', function()
{
wp_styles()->add_data( 'cocoon-skin-style', 'after', '' );
} );