Skip to content

Pipeline to harvest data via VK API for ML analysis with hadoop and spark

Notifications You must be signed in to change notification settings

offthetab/VKAPI-ML-DataHarvester

Repository files navigation

VKAPI-ML-DataHarvester

Проект автоматического сбора данных о постах в группе, пользователях группы и их постах. Конвейер обработки данных включает в себя Python-скрипт для сбора данных через VK API, HDFS, MariaDB, Sqoop и Spark.

About

Pipeline to harvest data via VK API for ML analysis with hadoop and spark

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published