Python ile website orphan page ve internal link grafiğini analiz et

Bir website'in içsel link yapısını anlamak SEO ve kullanıcı deneyimi için kritik. Orphan page (yetim sayfa) dediğimiz, hiçbir iç linkten referans almayan sayfalar Google'ın sitemap üzerinden bulabilse de, site yapısında kaybolmuş demektir. Okuyucu da doğal yoldan erişemiyor.

dev.to yazısında paylaşılan yaklaşım, requests ve BeautifulSoup kullanarak basit bir crawler inşa ediyor. Crawler, belirli bir domain içinde sayfaları tarayıp, her sayfadaki `<a href>` etiketlerini çekiyor ve bir graf oluşturuyor.

Temel mantık şu: bir başlangıç URL'den başla, o sayfadaki tüm iç linkleri çıkar, sonra onları da tara. Hangi sayfanın hangi sayfaya link verdiğini bir sözlükte tut. En sonunda, hiç gelen link olmayan URL'leri bul, işte orphan page'ler. Aynı zamanda en çok link alan sayfalar da belli oluyor.

Google'ın resmi rehberine göre, yalnızca `href` niteliğine sahip linkler okunur. JavaScript ile dinamik olarak oluşturulan butonlar ya da resim içindeki linkler atlanabilir. Bu yüzden statik HTML linklerine odaklanmak yeterli.

Praktik taraftan bakınca, böyle bir analiz yapıp orphan sayfaları bulduktan sonra onlara stratejik yerlerden link vermek, sitemap'i güncellemek ve hatta gereksiz sayfaları silmek karar verebilirsin. Link grafiğini görselleştirerek (networkx gibi kütüphane ile) hangi sayfaların hub olduğunu, hangi bölümlerin izole olduğunu net görebilirsin. Sitenin bilgi mimarisini iyileştirmek için bu veriler altın değerindedir.