タスクマネージャを見てみると
dllhost.exeというプロセスが大量にリソースを消費しているようでした。検索してみると、このプロセスが画像や動画のサムネイルを作成しており、そのファイルの種類によってdllhost.exeが暴走してしまうとのこと。
で、怪しいファイルを探してみたところ、僕の環境では昔持っていたHTC EVO 3D(3D動画記録可能の思いスマホです)の3D動画ファイル(ちなみに拡張子はmpo)が原因でした。そのファイルを削除することで解決しました。
同じ問題に悩んでいる人の参考になれば。