Парсинг... скорость = профит
-
Уважаемые форумчане и главбух, подскажите пожалуйста...
Столкнулся с такой ситуацией, написали мы ботика для буков. Но в скорости сильно проигрываем, текущим аналогам кое есть на рынке. Ботика писали под себя, не на рынок. Провайдеры до которых смогли дотянуться дают слишком медленное обновление (до 5 секунд), видимо сами заинтересованы забирать все добро 1ой линией, а остальное уже давать в шару.
Пришли к выводу, что агрегатор это лишь 10% успеха, все остальное решает парсинг... подскажите к кому можно обратиться кроме Одсов и АББ, наша связка на них плохо отрабатывает.
Или может для 2ух бк имеет смысл самим парсить, и создать такое решение под ключ самим себе ?Уже ускорили что только можно, из браузера всю внутрянку вычистили, сервер к клаудфлейру ближе поставили - не получается ускорить должным образом...
Пожалуйста помогите кто-нибудь
-
Непонятна фраза "вычистили из браузера всю внутрянку"...
Покупаете пятьсот прокси, пишете логику для работы в пятьсот потоков, каждый поток обновляет нужное вам событие, в зависимости от конторы, запускаете, качаете данные напрямую, запросами, никакие браузеры не нужны, радуетесь.Другое дело, что это сто раз понаписано и без указания конкретных контор сложно понять, как лучше получать с неё данные, но в любом случае, вам не нужны браузеры, вам нужны прямые запросы, и вам нужны прокси/аккаунты, много, иначе будет сложно поддерживать актуальность данных и при этом не быть забаненым, но это всё тривиальные штуки.
Ещё момент, может быть у вас проблема в долях секунд, а не в секундах? Тогда тут уже ничего не поделаешь, значит на сайте с задержкой кефы показывают, может внутренний фид какой есть, который вам не дадут.
-
@dimok Спасибо за ответ !
Про браузер я имел ввиду, что при получении данных по АПИ с сервера - от парсинга, вычистили все не нужное, ускорили открытие купона на 0.5 секунды, но это не достаточно помогло.
Конторы - париматч, бет365, пиннакл
По кол-ву аккаунтов вообще проблем нет )) они клепаются на раз - два, ну нормальная ли эта история, вытягивать данные по совокупности аккаунтов ?
И неужели, текущие парсеры, именно таким способом получают свои данные ? Забирают их мультиаккаунтингом из визуалки БК ?
-
мда
-
@igor-go Откуда аккаунты берёте? Рисуете или база дропов?
-
Уничтожим БК вместе :)
