確定申告の相談

現在自営業者で白色で確定申告をしています。
ことしから一般口座で取引した株式の譲渡益と配当金が合計で8万ほどありました。
ただ自分の本業の所得が控除額以下（譲渡益20万円を含めても）なので、本来は本業の確定申告も不要だとは思います。
ただ年によって違うので、やらなくてもいい状態でも毎年確定申告をしています。
今年は所得が控除額以下なので、株式の譲渡益に関しては無申告で大丈夫なのでしょうか？
よろしくお願いいたします。