Как получить все ссылки с сайта sitemap

Поддержите проэкт:


Как найти XML-Sitemap
Несколько способов посмотреть карту сайта:

В файле robots.txt. Пропишите в адресной строке: https://site.com/robots.txt. В самом файле, возможно, будет прописана директива XML-Sitemap в следующем формате: sitemap: https://site.com/sitemap.xml
Если вы не смогли найти ссылку на файл в robots.txt, пропишите в адресной строке следующий запрос: https://site.com/sitemap.xml
? Если формат url для файла Robots.txt строго обязательный — /robots.txt, то url для файла Sitemap.xml может быть любым.

/sitemap.xml — просто более популярное название XML-карты, но оно может быть другим, например: /sitemap-categories.xml, /sitemap-en.xml и так далее.

Вы также можете осуществить запрос в поисковой системе с помощью поисковых операторов. Необходимо использовать два оператора:
site: — ищет по точному адресу;
filetype: — ищет необходимый тип файла.
Для поиска файла типа XML вам необходимо сформировать поисковый запрос:

site:site.com filetype:xml



дальше открываем Парсинг ссылок из XML-карты сайта
например 
https://tools.100zona.com/sitemaps.html

копировать все ссылки в эксель, сортировка, выбрать нужные.

Посмотрите интересующие темы: