DEV Community: Женя

Как скачать видео с Ютьюб на компьютер? (непростой путь)

Женя — Mon, 13 Jan 2025 16:18:48 +0000

Скачивать видео мы будем при помощи программы из этого репозитория: https://github.com/yt-dlp/yt-dlp - это форк популярного проекта youtube-dl и на сегодняшний день это активно развивающийся open-source проект. Его можно использовать совершенно бесплатно.

Скачиваем ролики из Windows 11

Шаг 1: Загрузите релиз для ОС Windows на свой компьютер

Откройте официальный сайт проекта и в разделе который касается УСТАНОВКИ программы, кликните по версии релиза для операционной системы Windows

и сохраните файл в любое место на вашем компьютере (P.S. главное чтобы Вы его смогли потом отыскать)

Шаг 2: Скачайте зависимости для работы программы

Далее, необходимо скачать зависимости (дополнительные программы), которые обеспечат правильную работу основной программы.

Следуем вот к этому разделу "DEPENDENCIES" и кликаем по любой ссылке из примера

После этого мы будем перемещены в специальный раздел, где нам необходимо скачать на компьютер файл с зависимостями (желательно в тоже место, куда и основную программу yt-dlp.exe)

Осуществляем загрузку по клику на кнопочку :

В данной статье мы рассматриваем пример для 64-разрядной версия Windows. В подавляющем большинстве случаев вероятнее всего у вас будет именно эта версия. Но если что-то пошло не так или есть сомнения, то можно всегда проверить и убедиться в этом.

Руководство для проверки версии Windows

Или воспользуйтесь этой ссылкой:

Проверить

В итоге у вас должно получится следующее:

Файл основной программы yt-dlp.exe
Архив с зависимостями

Шаг 3: Разархивируйте содержимое архива.

Любой программой которой вы пользуетесь для этой цели или стандартными средствами Windows

Содержимое внутри извлечённой папки "ffmpeg-master-latest-win64-gpl" будет следующим:

Нас интересует содержимое папки "bin", именно это и есть зависимости для правильной работы основной программы:

Шаг 4: Создайте отдельную папку и перенесите в неё файлы которые вы загрузили

Это необходимо сделать для удобства.

Я создал папку с названием "YT" и перенёс в неё файлы из папки bin и основной файл программы, итоге у меня получилось:

Далее, для удобства я перенёс эту папку в папку Видео, чтобы видео-ролики были для простоты навигации и логичности в соответствующем разделе.

Подготовительный этап позади. Теперь рассмотрим непосредственно работу в программе.

Как скачивать видео через yt-dlp?

Быстрое скачивание одиночного ролика

Шаг 1: Запуск программы

По привычке, пользователи ОС Windows могут быть искушены сделать двойной клик по приложению, чтобы запустить программу. И скорее всего увидят предупреждение от ОС:

Если всё равно продолжить запуск, то он увенчается неудачей. В консоли мы получим уведомление, о том, что запуск программы и её работа осуществляются иначе.

На самой верхней строке можно увидеть, как использовать программу. Нужно из консоли (терминала) обратиться к этому файлу и передать в него ссылку на видео.

Для этого в папке с программой, или любом другом месте, где у вас находится файл yt-dlp.exe, нажмите правой кнопкой мыши, для того чтобы вызвать контекстное меню

Затем нажмите Открыть в Терминале.

Если у вас Windows 10, то по клику правой кнопкой вы можете не увидеть ссылку "Открыть в Терминале", для этого откройте его другим способом: В адресной строке текущей папки напишите cmd ** и нажмите **Enter

Откроется терминал. Проверьте правильность пути. Он должен вести в ту папку в которой вы его запускали и в которой находятся ваш файл программы и программки-зависимости.

Убедиться в этом можно при помощи команды DIR

Содержимое текущей директории должно быть с этими файлами.

Может сработать аналогичная UNIX-команда ls Результат отображение будет такой же:

Шаг 2: Откройте на платформе YouTube понравившийся ролик

Скопируйте ссылку ролика для скачивания.

Шаг 3: Обратитесь к основному файлу программы

Теперь необходимо в терминале прописать название нашего основного файла и передать через пробел ему скопированную ссылку.

Возможная ошибка при запуске

Suggestion [3,General]: Команда yt-dlp.exe не найдена, однако существует в текущем расположении. По умолчанию оболочка Windows PowerShell не загружает команды из текущего расположения. Если вы уверены в надежности команды, введите ".\yt-dlp.exe". Для получения дополнительных сведений вызовите справку с помощью команды "get-help about_Command_Precedence".

Правильная запись

.\yt-dlp.exe https://www.youtube.com/watch?v=9KXgLQXtibk

"Точка" и "Обратный слэш" это говорит терминалу, о том, что обращаемся мы к файлу в текущей директории, т.е. в той в которой находимся в данный момент.

Вот реальный пример правильного запуска программы:

Если всё прошло правильно, то в этой же папке с программой, у вас должен оказаться загружаемый ролик :)

Как скачать весь плейлист с YouTube?

Загрузка всего плэйлиста происходит аналогично одиночному видео, то есть принцип действия лежит такой же.

Шаг 1: Необходимо найти нужный плэйлист:

Шаг 2: Кликнуть на него и скопировать ссылку всего плейлиста:

Шаг 3: Вставить через пробел в терминал (по аналогии с одиночным видео)

Ниже мы видим, что в плэйлисте программа обнаружила 31 видео и начала загрузку...

Ниже скриншот иллюстрирует загрузку уже 10-го видео из 31-го...

Внимание! В процессе работы могут быть обрывы соединения или возникает какие то ошибки другого характера и в итоге может случиться так, что некоторые ролики будут загружены не полностью.

Ниже пример того, что некоторые ролики загрузились неполностью. Об этом сигнализирует белый файлик неопределённого типа.

В этом случае, нужно повторить загрузку! Успешно загруженные ролики будут пропущены, а завершённые с ошибкой догрузятся.

На примере ниже видно, что несколько видео было пропущено, так как они есть уже на нашем диске, а ролик номер 5 стал догружаться.

В итоге у нас загрузился весь плейлист:

Рекомендация. Для удобство можно сделать отдельную папку и переместить загруженные видео по смыслу туда:

Как использовать параметры?

Если взглянуть на схему использования данной программы, то можно заметить, что перед URL (ссылка на видео) мы можем , также через пробел, ещё указывать передавать параметры (настройки) программе.

yt-dlp [OPTIONS] [--] URL [URL...]

Например, чтобы загрузить все миниатюры к видео нам необходимо передать в программу специальную опцию --write-all-thumbnails или одну миниатюру --write-thumbnail Это послужит предписанием для программы сохранить все форматы миниатюр (или один) на ваш диск.

Тогда запись нашей строки будет следующего вида:

.\yt-dlp.exe --write-thumbnail https://www.youtube.com/watch?v=9KXgLQXtibk

Думаю с опциями принцип понятен :)

Видео-инструкции

YouTube

https://www.youtube.com/watch?v=ANfJiEn0lL8

VK Video

https://vk.com/video-224155129_456239022

Бесплатный парсер сайта 2GIS с помощью браузера Google Chrome.

Женя — Wed, 28 Aug 2024 20:18:48 +0000

Представьте на минутку, как Вы (или любой другой человек) открывает браузер, «ходит» по сайтам и копирует с них данные (телефоны, адреса и т.п.). Парсинг — то же самое, только ходит не человек, а робот. Подобным образом поступают поисковые системы при индексации сайтов, или агрегаторы, которые обновляют и собирают тематическую информацию с разных источников в сети.

В этой статье мы рассмотрим бесплатную программу для парсинга известного сайта электронного справочника с картами городов от компании-разработчика ООО «ДубльГИС».

Сам по себе парсинг сайта, как и прочих открытых информационных ресурсов полностью законен, информация находится в открытом доступе и для её получения мы ничего не взламываем и ничего противозаконного не делаем. Мы просто аналогично человеческим действиям по копированию данных делаем тоже самое только при помощи программы.

На сайте 2ГИС есть интересный пункт:

3.4. Использование Платформы и (или) Сайта Администрации иными способами, в том числе путем копирования (воспроизведения) размещенного на Сайте Контента, а также входящих в состав Платформы и (или) Сайта Администрации элементов дизайна, программ для ЭВМ и баз данных, их декомпиляция и модификация, строго запрещены.

Этот пункт мы тоже никоем образом не нарушаем.

Встречайте! Бесплатный парсер — Parser2GIS

Официальный сайт проекта

Документация

Описание

Парсер для автоматического сбора базы адресов и контактов предприятий, которые работают на территории России

Парсер для автоматического сбора базы адресов и контактов предприятий, которые работают на территории России, Казахстана, Беларуси, Азербайджана, Киргизии, Узбекистана, Чехии, Египта, Италии, Саудовской Аравии, Кипра, Объединенных Арабских Эмиратов, Чили, Катара, Омана, Бахрейна, Кувейта .

💰 Абсолютно бесплатный
🤖 Успешно обходит анти-бот блокировки на территории РФ
🖥️ Работает под Windows, Linux и MacOS
📄 Три выходных формата: CSV таблица, XLSX таблица и JSON список
🔗 Наличие генератора ссылок по городам и рубрикам

Начало работы

Учтите, что для работы парсера необходимо установить браузер Google Chrome. С установкой «Гугл Хром» в MacOS можно ознакомиться в этом видео.

Шаг №1 Скачайте программу

Первым делом скачайте релиз программы для вашей операционной системы (Windows, MacOS или Linux)

Шаг №2 Извлеките из скаченного архива программу

Вот что из себя представляет скаченный файл. Это архив, внутри которого и находится сама программа.

После разархивирования (извлечения из архива) программы, нам требуется её запустить, но прежде давайте взглянем что из себя представляет этот файл на Рабочем столе в ОС Windows 11

Шаг №3 Запустите программу

Двойным кликом запустите программу.

Вероятнее всего вы увидите при запуске вот такое окно:

И в этом нет ничего удивительного. Просто дело в непроверенном издателе, так сказать. И естественно Защитник Windows или какой то другой антивирус может как то на это отреагировать 🙂

Нажимаем *Подробнее *и затем Выполняем запуск в любом случае:

Та-дам! Наш парсер запущен!

Вот так выглядит окно программы при запуске.

Что же умеет парсер? Parser2GIS способен автоматически собрать информацию о всех интересующих Вас предприятиях и организациях, опубликованных в онлайн-справочнике 2GIS. И сейчас мы в этом убедимся!

Вернемся к Главному окну программы. Перед нами GUI — графический интерфейс парсера, сделанный для простых людей, за что отдельное спасибо автору!

Шаг №4 Работа программы

Вначале нам необходимо сгенерировать, подготовить ссылки электронного справочника которые наш парсер будет разбирать для осуществления сбора данных.

Откроется дополнительное окно, в котором нам нужно кликнуть на кнопку Сгенерировать

Далее, мы увидим ещё одно окно поверх предыдущих. Здесь нам нужно указать, выбрать рубрику для парсинга. Нажимаем на троеточие, рядом с полем Рубрика

При выборе рубрик можно воспользоваться поисковым запросом, для исключения остальных рубрик в название которых не попадает ваш запрос, например, мы хотим найти Тату-салоны. При поиске ключевого слова «тату» видим, что есть данная рубрика и следовательно выбираем её.

Затем, кликаем ok

Далее, убедитесь что выбрана нужная рубрика и отметьте города в которых будет осуществляться поиск и парсинг Тату-салонов. Выбирать можно (как в примере ниже) выборочно, либо выбрать все города России, или другой страны.

После окончательной предустановки (настройки) нажмите ok

В следующем окне программы появятся ссылки для парсинга выбранных городов + рубрик. Нажимаем ok

Убедитесь, что ваши ссылки прописались в поле URL, что ничего не сбилось

Настройки программы

Кликнув на шестерёнку можно задать настройки для парсинга. Я оставляю всё по умолчанию. Обратите внимание, что скрытый режим отключён, а это значит мы увидим воочию работу парсера в браузере google Chrome (P.S. надеюсь вы не забыли его установить 🙂 )

Эта работа программы будет напоминать переход по ссылкам человеческими руками, но только с бешенной скоростью обработки информации.

Всё готово! Выберите нужный формат исходных данных (по умолчанию CSV) , далее, через кнопку Обзор выберите место на компьютере куда будет сохранён результат работы парсера и третим действием запустите работу программы.

Вот так выглядит окно выбора пути сохранения файла. На этом этапе нужно задать ему имя. Я назвал его по имени категории которую собираюсь парсить в северных городах России:

Запомните место сохранения файла. Перед запуском парсера проверьте еще раз путь в строке и запустите парсер:

В процессе работы отроется окно браузера а в Главном окне программы вы будите видеть последовательность событий (log) работы программы:

После успешного завершения работы программы вы должны увидеть в логах вот такое сообщение о завершении парсинга:

А в месте сохранения файла обнаружить непосредственно файл с результатами работы программы:

В файле будут находится «спарсеные» данные из справочника 2ГИС.

Что делать с данными?

Если вы владеете навыками работы с Excel, то вам не составит наверное труда разобрать эти данные по столбикам. Но учтите, если открыть файл в формате CSV при помощи Эксель, то мы обнаружим слитые в строках данные

Вот так это выглядит. Необходим разбор. На самом деле это не составит труда для человека имеющего даже небольшой опыт работы с Эксель

Но в качестве примера я продемонстрирую разбор и форматирование данных через бесплатную программу Google Таблицы

Создаём пустую таблицу и через главное меню программы импортируем данные из нашего файла (Файл -> Импортировать)

Затем, во вкладке *Добавить * через кнопку *Обзор * выбираем и подгружаем наш файл формата .CSV

Настройки я не меняю и оставляю по умолчанию

После импорта данных мы видим что они распределены строго по столбикам, как мы того и ожидали.

При желании мы можем работать с выборочными столбиками:

Ну вот и всё! Благодарю за внимание 🙂