I lol'd at はい、上手です, and it just got funnier from there.

すみません、私はまだ日本語があまり上手ではありません。

あざっす

I like this article's suggestion: https://japaneselevelup.com/the-best-response-to-nihongo-wa-jouzu-desu-ne/

tl;dr: 日本が好きですから！

Personally, I usually deny it:
いや、忘れてます！
いや、まだまだです！

And then say something ironically difficult:
片言だけですよ！
最近使っていないからレベルが衰えています。
Because it's entertaining.

Edit: formatting

I just say ありがとうございます and walk off sad