waifu2xが輝度情報のみでやってるの、元論文のSRCNNでYCbCrでトレーニングしたら局所解に落ちてバイキュービックよりPSNR悪化しちゃったてへぺろ☆みたいな事が書いてあるな、まあ人間の目って輝度情報に一番敏感だし、丁度良いのかも(計算量的にも)