Tengo una relación con la ex de mi amigo y estoy casado

Por cosas del destino la ex de mi amigo y yo empezamos a trabajar juntos, ellos habían terminado su relación hacía unos ocho años y tuvieron un bebé, yo continúo casado y tengo tres bebés, como ha de suponer cuando todos estábamos casados la familia interaccionaban, de tal manera que el circulo de amigos es común para ambos y las familias todas se conocen.

El detalle es que luego de la ruptura de ellos, ella y yo no nos habíamos vuelto a ver. Cuando comenzamos a trabajar juntos comenzamos a tratar de ponernos al día de nuestras vidas y en eso nos fuimos compenetrando uno con el otro hasta que nos enamoramos e iniciamos una relación la cual ya tiene cuatro años, pero nadie lo sabe por el momento. La complicación está en que a mí me gustaría divorciarme y casarme con ella, pero esta es un decisión complicada por todo lo que involucra y realmente no sé qué hacer, ella y yo hemos conversado y su conclusión es que dejemos la relación porque el futuro se ve gris por todo lo que involucra.

Realmente necesito un consejo de qué hacer.