Программирование PHP парсеры

Статус
В этой теме нельзя размещать новые ответы.
PHP парсеры
Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.
Вот ключевые из них:
  • CURL: основы и хитрые приёмы
  • Куки, авторизация, антикапча
  • Правильная организация стадий парсинга
  • PHPJqueryDOM и нативный класс-парсер
  • Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
  • JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
  • Парсинг картинок с bing по ключевикам
  • Модуль уникализации скачанных изображений
Урок 1
Умный CURL
CURL — принципы работы
Создание класса обёртки
GET и POST запросы
Работа с HTTPS
Работа с куками
Эмуляция всех заголовков браузера
Фокусы keep alive
Проксирование в теории
Анализ заголовков
Следование за редиректами
Урок 2
Организация парсинга
Конфигурационные файлы для CURL
Нативный парсинг
MoveTo
ReadTo
ReadFrom
Другие полезные функции
Работа с PHPJqueryDOM
Объекты и их свойства
Селекторы и функции
Сохранение результатов

Урок 3
Комбинированный парсинг
Проблемы PHPJqueryDOM
Доработка нативного класса
Subtag
Общая схема парсинга
Разбор этапов парсинга
Сохранение результатов в БД
Класс-обёртка для PDO
Урок 4
Хранение скачанных данных
Перенос данных в БД
Таблица урлов: хорошее SEO + высокая скорость
Нереальное ускорение - замыкаем урлы в кольцо чисел
БД: хэш-таблица и коллизии
Доработка класса БД
Архитектурные изыски
sender vs viewer

Урок 5
Фреймворк
Организация PHP-классов
Создание js-морды
Две схемы: sender и viewer
JS для ajax-парсинга
JS для отображения статистики
Плюсы и минусы каждой схемы
Общая идея организации пауков
Урок 6
Противостояние
Принцип работы капчи-картинки
Пример создания простой капчи
Антикапча
Антикапча API
Сохранение и передача изображения
Ожидание и обработка результата
Создание класса для антикапчи

Урок 7
Парсинг изображений
Настройка парсера на bing
Скачивание изображений
Создание библиотеки для уникализации
Работа с изображениями в PHP
Освещение, обсцвечивание, сепия
Отражение, повороты
Урок 8
Подведение итогов
Доработка библиотеки для уникализации
Приёмы уникализации
Подведение итогов по темам
Теория оценки рекламы
Посетители * просмотры * CTR * стоимость
 

Последнее редактирование модератором:
Статус
В этой теме нельзя размещать новые ответы.

Не работает ссылка?

Обратите внимание

Похожие темы

Ответы
3
Просмотры
2K
Назад
Сверху