Закончить отношения с женатым

Запуталась, возможно, кто-то поможет советом.

Я замужем, он женат. Отношения начинались как просто с**с, теперь все усложнилось. Я понимаю, что меня тянет к нему всё больше, если мы не вместе, то все время проводим время общаясь. Он говорит о том, что ему неприятна мысль, что я замужем. Говорит о том, чтобы я ушла от мужа и сам тоже обещает уйти от жены. Но хочет, чтобы я сделала первый шаг.

Пробовала с ним окончить отношения, но ничего не получается. Я не отвечаю на звонки, не отвечаю на сообщения, он стоит на своем. Могу его игнорировать и пару дней, он продолжает писать и звонить, когда встречаемся - все начинается по новой.

Понимаю что без него мне спокойнее, уже мечтаю о том, чтобы он ушел. Но нет, он постоянно говорит о том, что не откажется от меня и ставит мне в упрек, что я постоянно отказываюсь от него.

Буду благодарна любым советам! Как сделать так, чтобы ему самому все надоело это?