事故をきっかけに芸域広げる
撮影現場での渡瀬さんは「プロ中のプロ」と言われた。大量の台詞を完璧に覚えており、撮影に集中し、ほとんど無駄話をしない。どんなに若いスタッフでも、職種ではなく名前で呼ぶ。アクションシーンでは代役を立てることを好まず、基本的にスタントは自分自身で演じていた。
77年「北陸代理戦争」の撮影で、ジープのハンドルを切り損ねて大けがをしたことでアクションを控えるようになり、むしろ芸域が広がった。時代劇からホームドラマまで役柄の引き出しの多い俳優として知られ、2010年、テレビドラマ「やまない雨はない」で鬱病の主人公を演じたときは「迫真の演技」と称賛された。
73年、女優の大原麗子さん（1946～2009）と結婚したが、78年に離婚。2004年の十津川警部シリーズ 東北新幹線「はやて」殺人事件」で26年ぶりに共演した。渡さんとは11年のTBSの年末スペシャルドラマ「帰郷」で40年ぶりに兄弟共演して話題になった。
15年に胆のうがんの手術をした後、経過は順調と言われ、「おみやさん」の撮影も再開していた。しかし16年秋、ライフワークの「十津川警部」を降板、体調が心配されていた。17年1月に松方弘樹さんが亡くなった時は、「年齢も近く、東映の撮影所でともに育ってきました。今は言葉がでません」と朝日新聞にコメントしていた。