Автоматизированный алгоритм поиска в интернете
Привет,
Я хотел бы знать, возможно ли технически разработать автоматизированный алгоритм поиска в интернете.
Позвольте мне привести вам случайный пример того, что я имею в виду.
Например, предположим, что я являюсь крупнейшей организацией по оказанию помощи в случае стихийных бедствий в мире и хочу каждый день запускать автоматический поиск в google, чтобы узнать, происходит ли какой-либо кризис/катастрофа в любой точке мира. Причина, по которой мне нужен автоматический поиск (а не ручной), заключается в том, что у меня может быть много различных комбинаций ключевых слов, которые я хочу использовать (скажем, 1000 различных комбинаций ключевых слов), и было бы трудно сделать это вручную. Позвольте мне привести несколько ключевых примеров слов, которые эта организация по оказанию помощи в случае стихийных бедствий, возможно, захочет использовать каждый день:
- "Катастрофа" + " срочно нужна помощь”
- "Массовая катастрофа" + " никакой помощи”
- "Люди страдают" + " землетрясение”
- "Где ООН”
- "Мы в ловушке”
- "Африка" + "голод" + " нет еды”
- Прием.
Возможно, существуют сотни ключевых словосочетаний, которые организация по оказанию помощи в случае стихийных бедствий хочет вводить каждый день, и они хотят, чтобы автоматизированный алгоритм поиска ежедневно запускал все эти ключевые словосочетания, а затем извлекал ключевые ссылки на странице или в таблице. Конечно, в Google вы также можете ограничить дату-например, попросить Google выдавать новые результаты только за последний день ... поскольку организация будет запускать автоматизированный алгоритм каждый день и хочет видеть только новые результаты.
Вышеизложенное было случайным примером для организации по оказанию помощи в случае стихийных бедствий, но это может быть для любого агентства или компании.
Мои два самых важных вопроса:
- Это технически возможно сделать?
- Если это возможно, то кто же такой человек, который может это сделать? Какова его "должность", опыт или квалификация?
Что я уже пробовал:
Общий поиск в Google по теме
F-ES Sitecore
Это технически возможно, ваш вопрос в том, возможно ли это юридически. Вам придется изучить T& Cs поисковых систем, которые вы надеетесь использовать, чтобы убедиться, что то, что вы делаете, соответствует их условиям. Поисковые системы не зарабатывают деньги на том, что вы соскабливаете их тяжелую работу, чтобы выдать ее за свою собственную.