Видимо для него существует некая разница между вами. Как вариант, его жена появилась еще до ваших с ним отношений, является фоном, константой. А вашу жену вы сознательно выбирали, уже вступив в отношения с ним. И возможно он воспринимает это, как будто вы отдаёте ей то внимание, на которое привык рассчитывать он.
Такое восприятие кажется абсурдным, но может быть.
По тому , что описываете, складывается ощущение, что он в отношениях с вами недополучает что-то, может эмоционально, может в сексе. То, что он в поиске, на сайтах знакомств сидит, плюс его измены. Если есть возможность, узнайте у него, чего именно ему не хватало, чтоб для себя понимать.
Я б на вашем месте отпустил его, пусть ищет. И вы сами вполне можете кого-то другого найти, того, с кем будете на одной волне.