Как получить все ссылки с сайта sitemap

Как найти XML-Sitemap

Несколько способов посмотреть карту сайта:

В файле robots.txt. Пропишите в адресной строке: https://site.com/robots.txt. В самом файле, возможно, будет прописана директива XML-Sitemap в следующем формате: sitemap: https://site.com/sitemap.xml

Если вы не смогли найти ссылку на файл в robots.txt, пропишите в адресной строке следующий запрос: https://site.com/sitemap.xml

? Если формат url для файла Robots.txt строго обязательный — /robots.txt, то url для файла Sitemap.xml может быть любым.

/sitemap.xml — просто более популярное название XML-карты, но оно может быть другим, например: /sitemap-categories.xml, /sitemap-en.xml и так далее.

Вы также можете осуществить запрос в поисковой системе с помощью поисковых операторов. Необходимо использовать два оператора:

site: — ищет по точному адресу;

filetype: — ищет необходимый тип файла.

Для поиска файла типа XML вам необходимо сформировать поисковый запрос:

site:site.com filetype:xml

дальше открываем Парсинг ссылок из XML-карты сайта

например 

https://tools.100zona.com/sitemaps.html

копировать все ссылки в эксель, сортировка, выбрать нужные.

Как скачать историю из Яндекс браузера, Chrome, Opera

1) в магазине установить расширение Export chrome history или аналог.

https://chromewebstore.google.com/detail/quick-chrome-history-expo/acjbkgbpefalkaebgodhnbdgjbignonj?hl=ru&pli=1 Можно скачать файл crx, и установить в браузере яндекс: https://www.crx4chrome.com/crx/135997/ Итак, я не нашел хорошего способа упаковать или скачать расширения (возможно, в режиме разработчика в Chrome OS, но тогда это, вероятно, очистит расширения). Однако я нашел два сайта, которые являются отличными репозиториями прошлых расширений Chrome: https://chrome-stats.com/ (очень подробный, но дорогой, если вам нужны прошлые версии) и https://www.crx4chrome.com/ (менее подробный, но совершенно бесплатный даже для прошлых версий). Поэтому, если вам нужно сделать резервную копию расширения, которого больше нет в Интернет-магазине, и вы используете Chromebook (со всеми ограничениями на файлы, которые затрудняют упаковку расширений), я бы порекомендовал поискать ваше расширение на этих двух сайтах, и, надеюсь, вы сможете найти его и скачать! как установить crx в яндекс браузер Чтобы установить crx-файл в Яндекс Браузер, включите "Режим разработчика" на странице browser://extensions/ (или chrome://extensions/), а затем перетащите файл crx в окно браузера. После этого нажмите "Установить" или "Добавить расширение", чтобы завершить установку. Приложение работает. dom131125. 2) Вариант 2. Перенести файл яндекса "History" (user\AppData\Local\Yandex\YandexBrowser\User Data\Default) в браузер на Cromium (cent browser), далее аналогично пункт 1).