Kart over havnen ved Skien fra 1681 viser rennene for sagene, men også problemet som sagmuggen fra sagene skapte for havneforholdene fordi det bygget seg opp grunner som gjorde det vanskelig for skip å komme inn til kai i Skien.
De vanskelige havneforholdene ved Skien la grunnlaget for at Porsgrunn ved utløpet av Skienselva vokste opp som havnebyen for Skien og flere viktige adels- og patrisierfamilier etablerte seg i Porsgrunn, som Løvenskiold, Deichman og Aall, eller de flyttet ut fra Skien til Porsgrunn og delte seg mellom en Porsgrunn-gren og en Skien-gren.
Utflyttingen fra Skien åpnet igjen for en tilbakeflytting fra Øvre Telemark til Skien av aktører som kunne innta det tomrommet som utflytterne skapte. Dette gjorde at medlemmer av den tidligere embetsmannsslekten Blom i Øvre Telemark kunne bli den nye viktige kjøpmannsslekten i Skien. Samtidig kom nye slekter til Skien utenfra, som Wesseltoftene, Adtzlev og Cappelen. De skulle direkte og indirekte bli knyttet til farens slekt, Ibsen.