Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!

сложный многопоточный парсер

истекло время актуальности


Необходимо разработать многопоточный парсер. (предпочтительно на языке С#)


Сайт донор с которого необходимо парсить использует Recapcha, при каждом обращению за данными.

Данные необходимо будет сохранять в базу без дублей.



Алгоритм работы и данные с которыми необходимо работать.

Входные данные находятся в базе данных mysql в определённой таблице (таблица запчастей, в ней 2 поля: Артикул запчасти и Производитель).

Каждую запчасть (Артикул и Производитель) необходимо ввести в специальную форму на сайте доноре и отправить ее. 

После отправки формы, донор выдает данные. Результаты которые выдает донор необходимо сохранить в базу.


Основная сложность, это то что при отправки формы на сайт доноре необходимо пройти Recaptcha. То есть парсер должен использовать Антикапчу/или какой то другой сервис по разгадыванию защитного кода.

Парсер должен работать в несколько потоков.

В парсере предусмотреть возможно указать количество потоков. А также работу через прокси или напрямую. Прокси будут находиться в отдельном txt файле (предвидеть возможность указать путь к файлу прокси в парсере). В процессе работы файл с прокси может быть изменен (добавиться новые прокси), сторонним софтом, в парсере предусмотреть возможность периодически получать новые прокси с файла.


По дублям. Результаты могут содержать дубли. Дублем считается товар с одинаковым артикулом и брендом (перед записью в  таблицу результатов проверять на наличие товара по артикулу и бренду).

Парсер должен помечать товары которые уже «прошел» в таблице входных данных, что бы при повторах запусках парсера не проходиться по ним еще раз (в таблице входных данных будет специальное поле для этой пометки).


Сайт донор отправлю в ЛС. Это основные детали проекта. Мелкие нюансы, готов обсудить.




  1. ставка скрыта фрилансером
  2. 3 дня7000 ₽
    Рустам Иванов
     206   1  0

    Сделаю
    7000р, 3 дня

    СделаюСделаюСделаюСделаюСделаюСделаюСделаюСделаю

    Россия Москва | 14 декабря 2018 |
  3. 7 дней4000 ₴
    Виктория Пустоварова
     586   9  0

    Добрый день
    Большой опыт написания парсеров различной сложности
    Можем выполнить в виде десктопного приложения под win
    Окончательная стоимость после обсуждения полного ТЗ

    Украина Днепр | 14 декабря 2018 |
  4. 10 дней1500 ₴
    Никита Тарабан
     59   4  2   3

    Готов взяться за данный проект. Для оговорки всех интересующих Вас вопросов прошу писать в лс.

    Украина Запорожье | 14 декабря 2018 |
  5. 25 дней12000 ₴
    Андрій Бейлик
     304   1  0

    Здравствуйте, очень заинтересовал Ваш проект.
    Готов обсудить детали и приступить к разработке.
    Есть команда для Вас.
    Уверенно работаю с:
    Java and Android SDK; OOP; SQlite/ORM; Retrofit/ Gson; Firebase;
    Multithreading in Android/Java; Bluetooth API, Google MAP API;
    Knowledge of client-server architecture, REST; unit testing; Dagger 2, Butter Knife, Picasso, RxJava; Gradle; Git;

    Примеры работ:
    https://play.google.com/store/apps/details?id=com.takeawaymogul.app
    https://play.google.com/store/apps/details?id=com.privatix&hl=ru
    https://play.google.com/store/apps/details?id=com.snappyrecruit https://play.google.com/store/apps/details?id=ru.medicoapp.client
    Жду Ваш ответ.

    Украина Каменец-Подольский | 14 декабря 2018 |
  6. 5 дней9000 ₽
    Maxim Sherbin
     1434   37  0   1

    Добрый день, тз понял. Подобное не раз делал (можете посмотреть отзывы, в основном там боты и парсеры)
    С рекапчей проблем не будет, с прокси тоже.
    Если вы хотите качественно выполненную работу, то обращайтесь

    США Boston | 14 декабря 2018 |
  7. 7 дней10000 ₽
    Максим Шумило
     255 

    Доьрый день. Готов взяться. Есть много примеров парсеров более 40шт. Предоставлю по запросу.
    Так же есть многопоточный парсер drom с использованием прокси.
    Пишите в лс обсудим детали.
    Разрабатываю на Python

    Россия Ижевск | 19 декабря 2018 |

Заказчик
Андрий Антонюк
Украина Ковель  26  0
Проект опубликован
6 месяцев 5 дней назад
188 просмотров