Geoffroy IV de Sémur, Sire de Semur