Learning Learning Ответов: 1

Как определить, есть ли у выбранного URL-адреса результаты

Всем привет,

Я создаю проект, в котором пользователь заполнит на моем сайте ключевое слово поиска, и я проверю сотни сайтов, если есть результат на выбранных сайтах.

моя проблема заключается в том, что некоторые веб-сайты, которые не имеют API, не вернут 404, когда нет результатов, и ответ будет выглядеть как 200 ok, но никаких результатов не будет.

Я буду очень рад узнать, как лучше всего это сделать.

Спасибо!

Что я уже пробовал:

Hi everyone,

I'm building a project in which the user will fill in my website the search keyword and I will check in hundreds of websites if there is a result on the fetched websites.

my problem is that some websites that not have an API will not return 404 when there are no results and the response will look like 200 ok but there will not be any results.

I will be really glad to learn what is the best way to do it.

Thanks!

1 Ответов

Рейтинг:
0

F-ES Sitecore

Вам нужно будет проанализировать ответ, который вы получите обратно на основе каждого сайта, чтобы проверить "нет результатов найдено" или что-то еще, что этот сайт делает, чтобы указать на отсутствие результатов. Кроме того, сайт не должен возвращать 404, если нет результатов поиска, поскольку 404 указывает, что запрошенный вами URI не может быть найден, а страница результатов поиска, показывающая результаты, все еще существует.

Learning Learning

Спасибо! значит, мне нужно будет очистить каждый сайт?

P. S - 404 относится к API, где есть 404, когда нет результатов.

Dave Kreskowiak

Это зависит от каждого сайта. 404 означает, что запрошенный URL-адрес не может быть найден, а не то, что нет результатов поиска.

Существует разница между вызовом веб-API и URL-адресом веб-страницы, например www.google.com. Если это обычная веб-страница, да, вам придется написать код скраппера для каждого из ваших "сотен" сайтов. Черт возьми, вам придется делать это для каждого сайта, который тоже является API! Удачи вам в этом!