Navigation

    WeWin.RU

    • Register
    • Login
    • Search
    • Categories
    • Tags
    • Unread
    • Popular
    • Users
    • Groups

    Парсинг... скорость = профит

    Вопросы и инструкции
    6
    6
    595
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • I
      Igor GO last edited by

      Уважаемые форумчане и главбух, подскажите пожалуйста...

      Столкнулся с такой ситуацией, написали мы ботика для буков. Но в скорости сильно проигрываем, текущим аналогам кое есть на рынке. Ботика писали под себя, не на рынок. Провайдеры до которых смогли дотянуться дают слишком медленное обновление (до 5 секунд), видимо сами заинтересованы забирать все добро 1ой линией, а остальное уже давать в шару.

      Пришли к выводу, что агрегатор это лишь 10% успеха, все остальное решает парсинг... подскажите к кому можно обратиться кроме Одсов и АББ, наша связка на них плохо отрабатывает.
      Или может для 2ух бк имеет смысл самим парсить, и создать такое решение под ключ самим себе ?

      Уже ускорили что только можно, из браузера всю внутрянку вычистили, сервер к клаудфлейру ближе поставили - не получается ускорить должным образом...

      Пожалуйста помогите кто-нибудь

      1 Reply Last reply Reply Quote 0
      • DimOK
        DimOK last edited by

        Непонятна фраза "вычистили из браузера всю внутрянку"...
        Покупаете пятьсот прокси, пишете логику для работы в пятьсот потоков, каждый поток обновляет нужное вам событие, в зависимости от конторы, запускаете, качаете данные напрямую, запросами, никакие браузеры не нужны, радуетесь.

        Другое дело, что это сто раз понаписано и без указания конкретных контор сложно понять, как лучше получать с неё данные, но в любом случае, вам не нужны браузеры, вам нужны прямые запросы, и вам нужны прокси/аккаунты, много, иначе будет сложно поддерживать актуальность данных и при этом не быть забаненым, но это всё тривиальные штуки.

        Ещё момент, может быть у вас проблема в долях секунд, а не в секундах? Тогда тут уже ничего не поделаешь, значит на сайте с задержкой кефы показывают, может внутренний фид какой есть, который вам не дадут.

        I 1 Reply Last reply Reply Quote 0
        • I
          Igor GO @DimOK last edited by

          @dimok Спасибо за ответ !

          Про браузер я имел ввиду, что при получении данных по АПИ с сервера - от парсинга, вычистили все не нужное, ускорили открытие купона на 0.5 секунды, но это не достаточно помогло.

          Конторы - париматч, бет365, пиннакл

          По кол-ву аккаунтов вообще проблем нет )) они клепаются на раз - два, ну нормальная ли эта история, вытягивать данные по совокупности аккаунтов ?

          И неужели, текущие парсеры, именно таким способом получают свои данные ? Забирают их мультиаккаунтингом из визуалки БК ?

          C 1 Reply Last reply Reply Quote 0
          • Aprotya
            Aprotya last edited by

            мда

            1 Reply Last reply Reply Quote 0
            • C
              caraten @Igor GO last edited by

              @igor-go Откуда аккаунты берёте? Рисуете или база дропов?

              1 Reply Last reply Reply Quote 0
              • B
                Better2000 last edited by

                Уничтожим БК вместе :)

                1 Reply Last reply Reply Quote 0
                • 1 / 1
                • First post
                  Last post