Рутрекер орг вк

Инструкция по альтернативному входу на Rutracker.org — апрель 2021

Администрация сайта Rutracker.org предоставила самим пользователям решать судьбу ресурса. Поводом к блокировке стали творения российских авторов Которые и так никто не скачивает , расположенные на ресурсе.

Около двух недель продолжалось голосование, по результатам которого 2/3 участников выразили следующее мнение : Запрещенный контент с сайта не удалять, и позволить заблокировать доступ к сайту с территории РФ навечно.

Таким образом, через месяц при попытке зайти на Рутрекер пользователи увидят ставшую знакомой надпись «Данный ресурс заблокирован». Официальная блокировка сайта провайдерами началась 25 января 2016г.

Способов обойти блокировку в настоящее время достаточно и многие из них являются вполне легальными. Это и использование браузера Tor, и смена DNS в настройках роутера, и VPN сервисы. Каждый из указанных методов требует тонкой настройки и определенной компьютерной грамотности. Помимо этого, всегда можно воспользоваться услугами специалистов компьютерной помощи.

В данной же статье приведены наиболее простые и не требующие усилий способы обхода блокировки rutracker, гарантирующие полный доступ к популярному торрент-трекеру.

Если сайт работает , но скачивания не происходит (либо скорость минимальна), воспользуйтесь новым Приложением от Rutracker.

Наиболее простые способы входа на Rutracker.org средствами браузера.

1. TOR-браузер

Обход блокировки торрент-трекеров является основной сферой применения браузера Tor . Установочный файл с инструкцией по инсталляции — скачать.
Все, что вам нужно — установить из архива браузер. С первой же сессии он будет использовать прокси-сервера для соединения с требуемым сайтом. Есть в этом и свои минусы: скорость подключения может быть довольно низкой (при задействовании IP, например, Канады, Новой Зеландии или Австралии). Все сессии в Тор-браузере разовые, поэтому вводить логин-пароль придется каждый раз заново.

Для захода можно использовать как основной домен, так и специальную onion-ссылку (http://rutrackerripnext.onion/) Если соединения с сайтом не произошло, перезапустите браузер или выберите в настройках «Новая цепочка Tor для этого сайта». Вероятно, был задействован российский прокси.

2. Зеркало сайта

Многие блокированные сайты создают так называемые зеркала основного домена. Таким образом, зайдя на зеркало, вы можете получить доступ к настоящему сайту Рутрекер. Информация об актуальных зеркалах вынесена в отдельную статью — Новое зеркало Rutracker.org. Ссылки постоянно обновляются.

3. Функции браузеров

Проще всего войти на сайт с помощью браузеров Google Chrome и Opera .

В Опере достаточно выбрать в основном меню режим Opera Turbo, как показано на изображении.

В браузерах Google Chrome или Яндекс следует установить расширение FriGate с уже имеющимся списком сайтов. Если программа не открывает нужный вам ресурс, его можно добавить в список исключений самостоятельно.

4. Telegram-бот Рутрекер

Скачивать фильмы, сериалы и программы можно и через Телеграм. Достаточно установить на смартфон или компьютер торрент-клиент и мессенджер. Инструкция по работе с Телеграм-ботом. Скачивание происходит посредством magnet-ссылок, не требует от пользователя настройки прокси.

5. Специальный плагин для всех браузеров «Доступ к Рутрекеру»

Для браузеров создан специальный плагин , обеспечивающий доступ непосредственно к сайту Rutracker.

Расширение можно установить на все популярные браузеры и ему не требуется тонкая настройка. По умолчанию он находится в спящем режиме, для его активации достаточно нажать на иконку в верхней панели браузера.

Скачать плагин для вашего браузера можно по ссылкам ниже.

Рутрекер — Официальное зеркало сайта

Сайт rutracker.org — крупнейший проект на просторах рунета, включающие более 4 млн. гигабайт. На Рутрекере орг зарегистрировано около 2 миллионов человек, около 1,6 миллиона регулярно посещают ресурс.

НАМ ОЧЕНЬ НУЖНА ВАША ПОДДЕРЖКА .

Из за частых блокировок, мы вынуждены предложить услугу — « Персональная ссылка «.

• Цена услуги — 150 ₽ .

За небольшую вклад вы получаете персональную ссылку на сайт — без блокировок.

Оплати один раз — получи доступ к сайту навсегда.

Покупая услугу вы поддерживаете наш проект и получаете пожизненный доступ к торрент-трекеру. Внесите свой вклад в свободный интернет.

Оплачивая удобным для вас способом не забудьте указать вашу почту для отправки персонального адреса.

4 декабря 2015 года было принято решение о блокировке торрент-трекера на территории РФ.

Рутрекер зеркало — Как обойти блокировку?

Существует несколько способов обойти блокировку Роскомнадзора. Часть из них полулегальна, так как на территории РФ запрещено использование VPN-сервисов.

Роскомнадзор не наказывает простых граждан, которые скачивают фильмы, книги, игры, музыку и т.д. Так как таких людей очень много, а максимум за подобные действия может грозить небольшой штраф, государственные структуры не тратят на это время.

Простейший способ получить доступ к заблокированному Рутрекеру — зеркала. Это сайты, которые называются также, но имеют другой домен и/или имеют отличие в названии в 1-2 знака.

Зеркало часто блокируют вслед за сайтом, после чего появляются новый и так до бесконечности.

Чтобы найти актуальное зеркало, вбейте в гугле: «рутрекер», «рутрекер зеркало», «rutracker зеркало» и вы обязательно найдете работающий вариант сайта.

VPN расширения для браузеров

Еще один способ — вход из других стран. Для этого можно воспользоваться впн-сервисом для браузера. Небольшое расширение поменяет ваш айпи и будет передавать данные из удаленного компьютера. Ваш провайдер не сможет отследить такой способ посещения сайта rutracker.org, а значит вы легко скачает нужную вам информацию.

Обратите внимание! VPN-сервисов очень много и приводить в пример какие-то из них — безсмысленно. Дело в том, что не все из них бесплатные, а часть бесплатных перестает работать. Поэтому, вероятнее всего, вам придется потратить немного времени, чтобы найти рабочее приложение.

На момент написания статьи отлично работает Hotspot Shield (сам им пользуюсь). Помните, что бесплатным является только расширение для браузера. Приложение, которое устанавливается на компьюетр или телефон — платное.

TOR-браузер

Запрещенный во многих странах браузер, которые идеально подходит для тех, кто решил посетить сайты, к которым закрыт доступ. Этот браузер создает цепочку из нескольких серверов в разных странах. По ним передается информация, с нужного вам сайта, поэтому не важно в какой стране вы находитесь.

Скачать TOR- браузер можно абсолютно бесплатно просто вбив запрос в любом браузере.

Причины запретов

Официальная причина блокировки доменного имени rutracker.org — коллективный судебный иск, который был подан «С. Б. А. Продакшн» и «Эксмо». Конечно, это не единственная причина, так как на Рутрекере находится огромное количество различного контента без разрешения правообладателей.

Важно! На rutracker и далее подавали в суд по различному контенту. Некоторые общественные организации пытались подавать апелляции и отстаивать права ресурса, но это не дало никакого результата.

15 декабря 2018 года, было зафиксировано более 2 тысяч зеркал этого торренттрекера, что говорит о его невероятной популярности и невозможности власти что-либо сделать с подобными сервисами.

Справка: закрыть торрент-трекер невозможно, так как торрент — всего лишь файл с информацией, которая позволяет скачивать данные с компьютеров других пользователей. Таким образом, чтобы закрыть всю базу файлов, выложенную на Рутрекере, необходимо изъять накопители нескольких сотен тысяч пользователей, часть из которых живет за границей.

Как попасть на RuTracker.org

RuTracker — некогда очень популярный и крайне необходимый ресурс, который широко использовался пользователями рунета, был заблокирован по требованию известного российского издательства. К сожалению, свободно использовать его уже нельзя. Тем не менее многие россияне по-прежнему используют его, обходя запрет.

Если вы хотите обойти эти ограничения — и вы готовы принять на себя сопутствующие риски, вы можете заручиться помощью следующих инструментов. Каждый из них поможет вам замаскировать свои идентификационные данные в Интернете и снять ограничения.

Как попасть на RuTracker.org

Способ № 1. Стать анонимным: использовать прокси-сайты

Прокси-сайты действуют как метод спасения, когда вам нужен способ доступа к заблокированным веб-сайтам. Это касается не только RuTracker, но и любого другого заблокированного сайта.

В Интернете есть сотни прокси-сайтов, которые делают ваш веб-сайт свободным от ограничения. Прокси-сайт становится своего рода посредником между пользователем и сервером. Веб-сайт прокси-сервера маскирует заблокированный сайт от интернет-провайдеров и позволяет вам получать доступ к любым заблокированным веб-сайтам. Найти подобный ресурс можно воспользовавшись простым поиском.

1. Шаг 1. Откройте свой браузер и перейдите на начальную страницу привычного вам поискового сервиса. Напишите в строке поиска «прокси сайт». Поисковик выдаст вам множество разных вариантов. Выбирайте любой — все они работают примерно одинаково. Для примера был использован первый вариант, который был предложен системой. Открываем браузер и переходим на начальную страницу поискового сервиса
2. Шаг 2. Перейдите на прокси-сайт и введите в специальном поле «rutracker.org» и нажмите на кнопку «Безопасный браузинг».

Переходим на прокси-сайт

Как только вы нажмете на эту кнопку, необходимый вам сайт откроется сразу же. Все его функции будут снова доступны, так, как это было раньше, до того, как на него наложили запрет.

Необходимый сайт открылся

Уникальные преимущества этого способа:

1. Вам не придется ничего скачивать и устанавливать на свой компьютер.
2. Это самый быстрый способ получения доступа к торрент трекеру.
3. Прокси не препятствуют сайту выполнять свои функции, а пользователям — открыть сайт и использовать его в полной мере.

Вариант № 2. Используйте Google Translate

Мало кто знает, что Google Translate может служить в качестве прокси-сайта. С его помощью вы можете обойти ограничение, переведя заблокированный веб-сайт на другой язык, который вы, возможно, знаете. Хотя, на самом деле это не обязательно, можно ведь «переводить» с русского на русский. Попробуйте Google Translate и убедитесь сами. Это еще один простой способ доступа к RuTracker. Вы также можете использовать службу перевода Microsoft Bing для разблокирования запрещенного веб-сайта. Итак, приступим к действиям.

1. Шаг 1. Откройте Google Translate. Напишите в поле для перевода адрес сайта. Он отразится в соседнем поле уже в качестве ссылке. Чтобы облегчить себе задачу, убедитесь, что в правом поле выбран русский язык. В этом случае сайт RuTracker.org не будет переводиться на другой язык и отразится в исходном виде. Открываем Google Translate
2. Шаг 2. Нажмите на ссылку, она тут же откроется. Сайт станет практически полностью доступным за исключением некоторых мультимедийных элементов. Нажимаем на ссылку и сайт открывается

Вариант № 3. Обход через расширения

Расширения работают в автоматическом режиме, снимая блокировку с сайтов. Все, что вам нужно это скачать и установить его. Мы подобрали для вас несколько работающих вариантов, которые помогут вам в зависимости от браузера, который вы используете.

Расширения для снятия блокировки

1. Google Chrome: https://chrome.google.com/webstore/detail/доступ-к-рутрекеру/lbdmhpkmonokeldelekgfefldfboblbj.
2. Mozilla Firefox: https://addons.mozilla.org/ru/firefox/addon/доступ-к-рутрекеру/.
3. Opera: https://addons.opera.com/ru/extensions/details/dostup-k-rutrekeru/?display=ru.
4. Яндекс.Браузер: https://chrome.google.com/webstore/detail/доступ-к-рутрекеру/lbdmhpkmonokeldelekgfefldfboblbj.

Вариант № 4. Wayback Machine

Wayback — интересная функция, которая хранит копии большинства веб-сайтов в Интернете. Он сохраняет несколько версий одного и того же веб-сайта, вы можете использовать его для доступа к прошлым версиям веб-сайта. Пользователи также могут использовать его для просмотра заблокированного контента в Интернете.

1. Шаг 1. Откройте сайт Интернет архиватора. В поле для ввода введите адрес RuTracker и нажмите на кнопку «Browse History». Открываем сайт Интернет архиватора
2. Шаг 2. На сайте откроется календарь, на котором отразятся все резервные копии более старых версий сайта. Выбирайте любой, но лучше всего — самый последний, самый полный. Нажмите на выбранную вами дату. Выбираем нужную дату и открываем

На заметку! Выбранная вами версия сайта откроется в этой же вкладке. Она полностью рабочая. Обычно ни одна функция сайта не страдает от такого способа доступа.

Выбранная версия сайта откроется в этой же вкладке

Это одни из самых эффективных и простых в использовании методов, позволяющих обойти цензуру, которая была наложена на ваши любимые веб-сайты.

Как обойти блокировку на рутрекер орг — пошаговая инструкция и видео

Главная страница » Как обойти блокировку на рутрекер орг — пошаговая инструкция и видео

• Рутрекер зеркало и обход блокировки
• Обойти блокировку рутрекера в firefox, chrome, opera
• Как обойти блокировку рутрекер на андроид
• Какие риски несет такой способ?
• Обойти блокировку rutracker на андроиде, без рисков — легко!
• Лучший способ обойти блокировку rutracker — использовать VPN
• Заходим на рутрекер через Прокси
• Рутрекер через Tor
• Вывод

Предлагаем вашему вниманию обзор способов, как попасть на рутрекер в обход блокировки, для скачивания торрентов. Хочется отметить, что эти же способы вполне подойдут для обхода блокировок многих других сайтов. Итак, если вам лень читать — сразу переходите к разделу: лучший способ обхода блокировки рутрекера

Данный обзор не является призывом в нарушению действующего законодательства, а лишь является примером работы соединений, построенных на шифровании данных! Администрация сайта не несет ответственности за действия пользователей ресурса! — Администрация сайта

Рутрекер зеркало и обход блокировки

У рутрекера после блокироваки появилось множество зеркал, с которых можно скачать торрент-файлы, со старыми регистрационными данными, а в некоторых случаях, без регистрации.

Зеркало сайта — это сайт близнец на другом, часто похожем домене. В конкретном случае, для основного домена Rutracker.org, торрент трекер, зарегистрировал: rutracker.net, rutracker.cr и rutracker.nl, которые уже успели заблокировать на территории России.

Поиск новых, рабочих зеркал, не требует особых усилий — просто вбейте в поисковик запрос «рутрекер зеркало».

Мы не рекомендуем пользоваться этим способом. Сайты-дубликаты, часто находятся на границе мошенничества и многие могут просто быть вредоносными. Вы никогда не знаете, что за файл вам подсунут на стороннем сайте под видом торрента, с известного торрент трекера.

Также пообщаться на форуме уже не получится. И ни в коем случае не вводите свои данные на таких зеркалах, их попросту могут украсть (фактически вы сами отдадите их злоумышленникам)

Обойти блокировку рутрекера в firefox, chrome, opera

Также существует плагин обхода блокировки в браузерах — firefox, chrome и opera. Плагин чертовски удобен, и вы наверняка захотите им пользоваться. Сильно отговаривать не будем, но помните о рисках.

Плагин работает как прокси, он направляет трафик, который должен идти напрямую на рутрекер, через прокси. Плагин бесплатный, но содержание прокси сервера никогда не будет бесплатным. Кто-то за него должен платить.

Технически плагин может фильтровать весь ваш трафик и менять содержимое страниц, которые вы просматриваете. Это совсем не хорошо.

Даже если вы верите создателям плагина, никто не застрахован от взлома. Взломать могут и сам плагин, и систему обновления плагина, заменив тем самым оригинальный код вредоносным. На создателей могут «надавить», и в этом случае вы никогда не узнаете, что в вашем компьютере есть «бэкдор».

Как обойти блокировку рутрекер на андроид

На просторах интернета можно найти предложение установить специальное приложение для андроид, которое позволяет просматривать торрент-файлы, производить поиск и содержит в себе еще кое-какие плюшки. Одно из таких приложений — flow.

Приложение flow — чудесный и жутко удобный способ иметь у себя «в кармане» ресурсы с этого популярного торрент-трекера. Но только когда это приложение уже установлено. А установить с того же плей-маркета его уже не получится, т.к. его благополучно заблокировали все по той же причине — авторские права. Теперь его надо скачивать с сайта 4pda или еще где-нибудь.

Какие риски несет такой способ?

Самый главный риск состоит в том, что вы скачиваете и устанавливаете приложение со стороннего источника. Если в плей маркете приложения проверяют (хоть и не всегда качественно), то здесь никто этого не делает. Велика вероятность подцепить какую-нибудь заразу. В остальном — все то же самое, что и с плагинами — чужой код, в оболочке плагина, программы, или простого дополнения, может легко украсть ваши данные.

Обойти блокировку rutracker на андроиде, без рисков — легко!

Для android существуют VPN клиенты, и это на сегодняшний день — лучшее решение по соотношению цена/качество/безопасность. Среди платных, доверенных сервисов мы рекомендуем присмотреться к NordVPN, или ExpressVPN. У них есть отличное приложение для вашего телефона или планшета на Android, вкупе с очень «вкусной» ценой! Вместе с удобством использования и безопасностью приложений, вы получаете гарантию, что ваши данные останутся в сохранности, + множество других плюшек.

Среди бесплатных или freemium VPN клиентов, рекомендуем WindScribe.

Лучший способ обойти блокировку rutracker — использовать VPN

Это лучший способ чтобы обойти блокировку рутрекер орг, на вашем телефоне, компьютере, и других гаджетах, используемых дома или в общественных местах. Что важно — отсутствует риск раскрытия ваших данных. Технически, VPN работает почти как прокси — вы заходите на нужный вам сайт через сторонний сервер. Но в отличии от прокси — ваш трафик полностью шифруется. Также, порядочные поставщики услуг VPN не хранят никаких логов и не анализируют ваш трафик. Даже если ФСБ или АНБ захочет узнать, что вы смотрели, провайдеру будет нечего им отдать.

Самое сильное преимущество в том, что использование современных VPN-сервисов не требует абсолютно никаких специальных знаний для того, чтобы настроить ваш компьютер или телефон для безопасной работы через VPN. Если раньше надо было настраивать соединение, вбивать какие-то настройки, то сейчас для этого есть специальные приложения, которые все сделают за вас. Установка осуществляется в несколько кликов, а включение защищенного соединения происходит нажатием одной кнопки.

У некоторых провайдеров есть бесплатные ограниченные версии. У каждого провайдера свои ограничения. Кто-то ограничивает трафик, кто-то скорость, кто-то доступные сервера. Мы не рекомендуем пользоваться полностью бесплатными VPN (да, и такие существуют), т.к. это может оказаться совсем небезопасно (не забывайте, кто-то ведь все равно должен платить за содержание сервиса). Читайте подробнее чем отличается бесплатный VPN от платного VPN. Рекомендуем сразу использовать платный VPN. Это анонимизирует Вас в интернете там, где вы этого хотите, и защитит от многих неприятных вещей.

Плюсы:

• анонимность (при желании, полная анонимность)
• безопасность
• не требуется знаний для настройки
• большой выбор расположений серверов
• недорого
• работает на всех устройствах и системах (ios, Android, Windows, Linux, MacOS)
• высокая скорость

Минусы:

Вот несколько топовых VPN провайдеров, которые точно вам подойдут (и помогут открыть сайт, rutracker org в обход блокировки, а также сайты подобные ему):

Чтобы посмотреть другие VPN-сервисы с выбором по параметрам, переходите в раздел: рейтинг VPN.

Заходим на рутрекер через Прокси

Когда вы используете прокси — по сути вы подключаетесь к сайту через сторонний компьютер (сервер). Это выглядит так: когда вы напрямую пробуете зайти на заблокированный сайт, ваш интернет-провайдер блокирует вам доступ на него. Тогда вы подключаетесь сначала к прокси серверу, (он не заблокирован), а уже с прокси сервера ваш запрос направляется на нужный вам сайт. Прокси теоретически может располагаться в любой точке мира, и блокировки, которые действуют в юрисдикции вашей страны, его не касаются. Вот так вот просто вы можете свободно заходить на интересующие вас сайты, например, чтобы обойти блокировку рутрекера и подобным ему.

Есть как платные прокси, так и бесплатные. Пользоваться бесплатными часто проблематично, в связи с тем, что они работают медленно (очень много людей хотят халявы и сильно грузят их), а срок их жизни крайне мал по этой же причине. А еще велик риск кражи ваших данных (логинов, паролей, кредитных карт и т.д.), если вы где-то вводите эти данные, когда подключаетесь через прокси. При этом качественные платные прокси работают быстро и гарантируют безопасность передаваемых данных.

Плюсы:

• может быть бесплатный
• недорого (дешевле vpn)
• не нужно дополнительное ПО

Минусы:

• медленно и крайне нестабильно, если пользоваться бесплатными
• требуются знания для настройки
• небезопасно

Если вам интересен данный способ — смотрите

• как настроить прокси в браузере
• рейтинг прокси

к оглавлению ↑

Рутрекер через Tor

О торе наслышаны многие, но мало кто знает, что на самом деле Tor работает как цепочка прокси-серверов. Он бесплатный и к тому же частично анонимизирует вас. Это значит что ваш провайдер не видит какие сайты вы просматриваете. Обычно он работает медленно, так что посмотреть видео скорее всего не получится. На изображения и текст его вполне даже хватит, то есть вы всегда сможете посмотреть описания торрентов и скачать сам торрент-файл.

Чтобы обойти блокировку рутрекера с помощью tor, надо скачать специальный TOR-браузер, и запустить его у себя на компьютере. Запустится мастер установки. Смело выбирайте папку, потому что это просто архиватор. Он распакует все файлы и не оставит больше никаких следов. Затем запускаете файл в папке и в появившемся окне жмете кнопку connect. Все остальное произойдет автоматически. Через некоторое время откроется окно браузера, которым можно пользоваться как обычным браузером.

Не думайте что одно только использование TOR делает вас полностью анонимным! Несмотря на то, что способ считается безопасным, потому как шифруется весь трафик от вас до прокси и между прокси, самый последний сервер (часто называется как «выходная нода») может оказаться под управлением злоумышленников, и может запросто украсть ваши данные.

Такой способ на самом деле отлично подходит чтобы обойти блокировку сайта рутрекер орг или просмотра других заблокированных сайтов торрентов.

Плюсы:

• бесплатный
• анонимный (при соблюдении некоторых правил)
• безопасный (если вы сами не отдадите свои данные)

Минусы:

• медленный
• небезопасный если вы вводите свои данные на сайте

к оглавлению ↑

Вывод

До сих пор самым лучшим способом обхода блокировки рутрекера (как и многих других сайтов) является хороший платный VPN. Это не дорого, учитывая то, что он решает еще множество проблем, связанных с безопасностью в интернете. Выберите в нашем рейтинге впн то, что вам по душе, и наслаждайтесь безопасным интернетом без ограничений и блокировок

Умирает ли RuTracker? Анализируем раздачи

Любая деятельность генерирует данные. Чем бы вы ни занимались, у вас наверняка на руках кладезь необработаной полезной информации, ну или хотя бы доступ к его источнику.

Сегодня побеждает тот, кто принимает решения, основываясь на объективных данных. Навыки аналитика как никогда актуальны, а наличие под рукой необходимых для этого инструментов позволяет всегда быть на шаг впереди. Это и является подспорьем появления данной статьи.

У вас есть свой бизнес? Или может… хотя, не важно. Сам процесс добычи данных бесконечен и увлекателен. И даже просто хорошо покопавшись в интернете можно найти себе поле для деятельности.

Вот, что мы имеем сегодня – Неофициальная XML-база раздач сайта RuTracker.ORG. База обновляется раз в полгода и содержит в себе информацию о всех раздачах за историю существования данного торрент-трекера.

Что она может рассказать владельцам рутрекера? А непосредственным пособникам пиратства в интернете? Или обычному юзеру, увлекающемуся аниме, например?

Понимаете о чем я?

Я не поддерживаю пиратство в интернете и против него. Прибегаю к использованию торрентов только в случае скачивания open source продуктов.

Выбор данной темы вызван исключительно интересом к аналитике и big data.

Стэк – R, Clickhouse, Dataiku

Любая аналитика проходит несколько основных этапов: извлечение данных, их подготовка и изучение данных (визуализация). Для каждого этапа — свой инструмент. Потому сегодняшний стэк:

1. R. Да, непопулярный и уступает Python. Но до того же чистый и приятный со своим dplyr и ggplot2. Он рожден для аналитики и не пользоваться этим – преступление.
2. Clickhouse. Колоночная аналитическая СУБД. Наверняка слышали: “clickhouse не тормозит” или “скорость на грани фантастики”. Народ не врет, и мы в этом убедимся. В ответе за моментальность.
3. Dataiku. Платформа для обработки, визуализации и прогнозного анализа бизнес-данных.

Ревью: Dataiku работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек. Документация тут.

Удивительно, но на русскоязычных ресурсах и даже на Хабре до сих пор нет ажиотажа или хайпа, если хотите, на тему неотразимости данной платформы. Возьмусь исправить сие недоразумение и прошу поздравить dataiku с почином.

Big Data – big problems

На руках сжатый xml–файл весом 5 Гб. Внутри – база всех раздач сайта rutracker.org, с самого начала его существования (2005 г.) и до ноября 2019 г. А это 15 лет!

Загрузить такой объем в R Studio – ха! Не вариант. Мы люди простые, ресурсы ограничены.

Значит нужна БД, дабы подключаться и делать запросы через R. Поскольку имеем дело с Big Data, выбираем Clickhouse и … не так быстро, у нас все еще xml–файл. Надо распарсить. И опять упираемся в ресурсы.

Тут на сцену выходит наш сегодняшний дебютант. Импортировать и подготовить такой объем в Dataiku DSS не проблема. Но у нас будет ограничение на отображаемый семпл – 10 000 строк. Просмотреть аналитику также можно только в рамках семпла. Но для парсинга нам достаточно, вполне. Лимит на семпл можно и поднять, документация для корректной работы советует не больше 200 000 строк.

Создаем проект, импортируем дату. Пару минут и сырые данные готовы к предобработке.

Получили данные разных форматов. Самые интересные: колонка content — с описанием каждого торрента в разметке форумного движка и несколько колонок в формате массива json.

Удаляем пока колонку content, для сквозного анализа она будет нам в тягость. Но к ней мы еще вернемся – там есть где закопаться.

Создаем recipe — правила предобработки. Из соответствующих колонок достаем информацию о торренте, загружаемом файле и форуме к которому он относится. Благо датайку позволяет нам парсить json массивы.

Форматируем дату регистрации торрента. Отмечу, ни строчки кода еще не написано, и это огромный + для dataiku.

Запускаем наш recipe, ждем полчаса — на выходе все красиво.

Забираем csv с чистой датой и импортируем в Clickhouse.

Простота и фантастическая скорость

Давайте протестируем Clickhouse и охватим наконец все 15 лет существования rutracker-a.

Сколько же торрентов в нашей базе?

Итого 1.5 млн торрентов и 25 млн строк. За 0.3 с! Попробуем запрос посложнее и понаблюдаем за скоростью.

Посмотрим, к примеру, сколько книжек нам доступно для скачивания.

300 тыс — читать не перечитать! Но согласитесь, там есть дубли. Раз уж на то пошло узнаем их суммарный вес.

Итог – мы охватили 25 млн строк менее чем за пол секунды. Приятно, не правда ли?

Добыча данных в R

Продолжим добывать данные уже в R. Подключим библиотеки, в часности DBI (для работы с БД). И установим соединение с Clickhouse.

Все, можно делать запросы и сразу же визуализировать. А благодаря dplyr можем легко обойтись и без переменных.

Так умирают ли торренты? Давайте посмотрим статистику их количества на rutracker.org по годам.

На каждом из графиков заметно просел 2016 год. Важно отметить, что в январе 2016 официально вступило в силу решение Роскомнадзора о блокировке rutracker.org для российских пользователей. Тогда в СМИ сообщалось о незначительном снижении посещаемости сайта, что коррелирует с нашей картиной.

Количество файлов последние года очевидно возрастает, при том что количество торрентов остается практически на одном уровне. Это значит, что на один торрент приходится все больше возможных расширений.

Пролить свет на данную картину нам поможет статистика ТОПа расширений за весь период.

И вот ответ. Очень существенно возросло количество картинок в торрентах. Они и влияют на рост количества файлов.

Давайте погуляем по разделам rutracker-a. Узнаем их суммарный вес и количество торрентов внутри.

Топ увесистых разделов вполне понятен и логичен. А вот антилидеры — Мобильные устройства и Иностранные языки — вероятно на торрентах умирают. Взглянув на распределение количества торрентов, мы в этом убедимся. Тут же, рядом расположился и раздел с Apple.

Уяснив ранее, что торренты с годами не умирают, у вас вероятно возник вопрос: а как же тогда время влияет на понятие торрент-трекера.
Тут мы можем использовать агрегацию по разделам и просмотреть тенденции за

Кино-пиратство на торрентах умирает — это факт. С ним за руку — Apple и мобильные устройства, которых почти и не видно.
При этом в последнее время явно возрастает количество игр и сериалов. Вероятно эта тенденция будет сохраняться.

Отойдя немного в сторону и взглянув на данные под новым углом, можно обнаружить еще пару скелетов Rutracker-a. Посмотрим-ка на тепловую карту ежедневного появления торрентов на rutracker.org.

Сразу бросается в глаза всплеск активности в 2017 году. (ред. В мае того года на GitHub было выложено приложение для борьбы с попытками российских властей замедлять скорость скачивания файлов). А вот блокировка сайта в 2016 году отнюдь не очевидна, т.к существенно не повлияла на активность добавления торрентов.

Закопаться можно и хочется в любую из найденных выше закономерностей. Добывать данные можно до бесконечности. А писать и читать статью – нет.
Давайте еще немного поиграем, вернем весьма информативную колонку content и посмотрим, что нам расскажут данные, к примеру, об аниме за последние 15 лет.

Её величество Dataiku

Создаем новую ветку, оставляем все видео файлы касательно аниме и парсим колонку с описанием торрентов: вытягиваем режиссера, страну, жанр, продолжительность и год выхода анимешки.

Отфильтруем картинки, субтитры и инфо-файлы. Также поднимем лимит отображаемого семпла. Пару кликов – все красиво.

Предлагаю взглянуть на года выхода наших анимешек и в тоже время потрогать удобнейшую функцию датайку – внутриколоночную аналитику.

Резюмирую: на rutracker.org доступно для скачивания аниме, снятое за последние пол века Если быть точнее, уникальных годов выпуска — 60. При этом наиболее продуктивными оказались 2009 — 2014 года.

Платформа также позволяет моментально визуализировать данные. И при этом, напомню, никакого кода. Просто выбираем нужные фильтры.

К примеру, агрегируем Японию и возьмем топ самых продуктивных режиссеров. Получаем тепловую карту их активности простым перетаскиванием переменных.

К чему я веду, dataiku — отличный инструмент для аналитика любого уровня. Импорт, подготовка, анализ и визуализация данных реализуется как кодом (R, Python), так и кликаньем мышки. Но это уже совсем другая история и отличная тема для следующей статьи.

А пока, возвращаясь к RuTracker, констатируем: торренты не умирают, даже в условиях блокировок. Сама же база раздач невероятно емкая и может ответить еще не на один вопрос. Могу пообещать сделать больше аналитики, при проявленном интересе. Предлагайте свои гипотезы в комментариях.

UPD: В ответ на один из комментариев, опишу детальнее этап формирования recipe в dataiku.

Условно, приведенный в данной статье recipe, можно разделить на две части: подготовка данных для анализа в R и подготовка данных об аниме для анализа непосредственно на платформе.

Состоит из блоков парсинга json-колонок и даты.

Блоки однотипны. Задаем колонку из которой нужно достать переменную и ее название.

Парсим и форматируем timestamp указав удобный формат.

Этап в основном состоит из фильтров, нацеленных на отбор только видео файлов, связанных с аниме. Также он содержит блок парсинга колонки content — Descr_Data.

С помощью regexp достаем данные о режиссере, стране, жанре, продолжительности и дате выхода аниме. Отмечу, что синтаксис regexp в dataiku немного специфичный и к нему нужно приловчиться.