香川照之離婚、事務所認める　理由「立ち入って聞いていない」