美術史家、東京大学・多摩美術大学名誉教授。1932年、愛知県生まれ。1961年、東京大学大学院博士課程中退。東京大学文学部教授、千葉市美術館館長、MIHOMUSEUM館長などを歴任。1970年に刊行された『奇想の系譜』（美術出版社）で、又兵衛、山雪、若沖、蕭白、芦雪、国芳を「奇想の画家」として
取り上げたことで江戸絵画の再評価を促し、日本の美術史に大きな影響を与えた。特に1990年代以降の若冲ブームの立役者となった。
日本美術の時代や分野を通底する特質として、「かざり」「あそび」「アニミズム」の3つを挙げている。装飾工芸から幽霊画、春画、漫画まで幅広く論じる。他の主な著書に『日本美術の歴史』（東京大学出版会）、『奇想の図譜』『あそぶ神仏：江戸の宗教美術とアニミズム』（ともにちくま学芸文庫）、『辻惟雄集』全6巻（岩波書店）など。