渡来系氏族の活躍がよく語られますが、彼らが現在の日本人の祖先であるなら、純粋な意味での日本人というのはいないのでしょうか？

もちろんそうです。「単一民族」などという発想はまやかしでしかありません。第一、日本列島は縄文時代以前より南北から相当数の人間集団の流入があり、その複合的な文化が今日までの基礎となっているのですから、「ヤマト民族」などという括り自体が政治的なものでしかありません。