OriginalGriff
Это не тот вопрос, на который мы можем ответить: все зависит от вас и сайта, к которому вы обращаетесь.
Мы не знаем, насколько занят сайт, сколько данных передается, сколько времени это занимает. Мы не знаем, что сайт делает с повторными запросами: некоторые могут намеренно задерживать ответы, чтобы смягчить возможные DDOS-атаки.
Поэтому начните с того, что запишите URL-адрес, который вы запрашиваете, и попробуйте получить к нему доступ вручную через браузер. Как быстро они обслуживаются? Сколько данных передается? Что произойдет, если вы начнете несколько из них в быстрой последовательности? Что-нибудь изменилось?
Может быть, вам нужно продлить тайм - ауты, может быть, вам нужно замедлить частоту, с которой вы заходите на сайт-мы не можем сказать. И, возможно, обратитесь к администратору сайта и посмотрите, что он скажет.
Так что начните с сбора информации - мы не можем сделать это за вас!