logo

youtube-dl

[mirror] Download/Watch videos from video hostersgit clone https://hacktivis.me/git/mirror/youtube-dl.git

dlf.py (9100B)

    

  1. # coding: utf-8
  2. from __future__ import unicode_literals
  4. import re
  6. from .common import InfoExtractor
  7. from ..compat import (
  8.     compat_str,
  9. )
  10. from ..utils import (
  11.     determine_ext,
  12.     extract_attributes,
  13.     int_or_none,
  14.     merge_dicts,
  15.     traverse_obj,
  16.     url_or_none,
  17.     variadic,
  18. )
  21. class DLFBaseIE(InfoExtractor):
  22.     _VALID_URL_BASE = r'https?://(?:www\.)?deutschlandfunk\.de/'
  23.     _BUTTON_REGEX = r'(<button[^>]+alt="Anhören"[^>]+data-audio-diraid[^>]*>)'
  25.     def _parse_button_attrs(self, button, audio_id=None):
  26.         attrs = extract_attributes(button)
  27.         audio_id = audio_id or attrs['data-audio-diraid']
  29.         url = traverse_obj(
  30.             attrs, 'data-audio-download-src', 'data-audio', 'data-audioreference',
  31.             'data-audio-src', expected_type=url_or_none)
  32.         ext = determine_ext(url)
  33.         formats = (self._extract_m3u8_formats(url, audio_id, fatal=False)
  34.                    if ext == 'm3u8' else [{'url': url, 'ext': ext, 'vcodec': 'none'}])
  35.         self._sort_formats(formats)
  37.         def traverse_attrs(path):
  38.             path = list(variadic(path))
  39.             t = path.pop() if callable(path[-1]) else None
  40.             return traverse_obj(attrs, path, expected_type=t, get_all=False)
  42.         def txt_or_none(v, default=None):
  43.             return default if v is None else (compat_str(v).strip() or default)
  45.         return merge_dicts(*reversed([{
  46.             'id': audio_id,
  47.             # 'extractor_key': DLFIE.ie_key(),
  48.             # 'extractor': DLFIE.IE_NAME,
  49.             'formats': formats,
  50.         }, dict((k, traverse_attrs(v)) for k, v in {
  51.             'title': (('data-audiotitle', 'data-audio-title', 'data-audio-download-tracking-title'), txt_or_none),
  52.             'duration': (('data-audioduration', 'data-audio-duration'), int_or_none),
  53.             'thumbnail': ('data-audioimage', url_or_none),
  54.             'uploader': 'data-audio-producer',
  55.             'series': 'data-audio-series',
  56.             'channel': 'data-audio-origin-site-name',
  57.             'webpage_url': ('data-audio-download-tracking-path', url_or_none),
  58.         }.items())]))
  61. class DLFIE(DLFBaseIE):
  62.     IE_NAME = 'dlf'
  63.     _VALID_URL = DLFBaseIE._VALID_URL_BASE + r'[\w-]+-dlf-(?P<id>[\da-f]{8})-100\.html'
  64.     _TESTS = [
  65.         # Audio as an HLS stream
  66.         {
  67.             'url': 'https://www.deutschlandfunk.de/tanz-der-saiteninstrumente-das-wild-strings-trio-aus-slowenien-dlf-03a3eb19-100.html',
  68.             'info_dict': {
  69.                 'id': '03a3eb19',
  70.                 'title': r're:Tanz der Saiteninstrumente [-/] Das Wild Strings Trio aus Slowenien',
  71.                 'ext': 'm4a',
  72.                 'duration': 3298,
  73.                 'thumbnail': 'https://assets.deutschlandfunk.de/FALLBACK-IMAGE-AUDIO/512x512.png?t=1603714364673',
  74.                 'uploader': 'Deutschlandfunk',
  75.                 'series': 'On Stage',
  76.                 'channel': 'deutschlandfunk'
  77.             },
  78.             'params': {
  79.                 'skip_download': 'm3u8'
  80.             },
  81.             'skip': 'This webpage no longer exists'
  82.         }, {
  83.             'url': 'https://www.deutschlandfunk.de/russische-athleten-kehren-zurueck-auf-die-sportbuehne-ein-gefaehrlicher-tueroeffner-dlf-d9cc1856-100.html',
  84.             'info_dict': {
  85.                 'id': 'd9cc1856',
  86.                 'title': 'Russische Athleten kehren zurück auf die Sportbühne: Ein gefährlicher Türöffner',
  87.                 'ext': 'mp3',
  88.                 'duration': 291,
  89.                 'thumbnail': 'https://assets.deutschlandfunk.de/FALLBACK-IMAGE-AUDIO/512x512.png?t=1603714364673',
  90.                 'uploader': 'Deutschlandfunk',
  91.                 'series': 'Kommentare und Themen der Woche',
  92.                 'channel': 'deutschlandfunk'
  93.             }
  94.         },
  95.     ]
  97.     def _real_extract(self, url):
  98.         audio_id = self._match_id(url)
  99.         webpage = self._download_webpage(url, audio_id)
  101.         return self._parse_button_attrs(
  102.             self._search_regex(self._BUTTON_REGEX, webpage, 'button'), audio_id)
  105. class DLFCorpusIE(DLFBaseIE):
  106.     IE_NAME = 'dlf:corpus'
  107.     IE_DESC = 'DLF Multi-feed Archives'
  108.     _VALID_URL = DLFBaseIE._VALID_URL_BASE + r'(?P<id>(?![\w-]+-dlf-[\da-f]{8})[\w-]+-\d+)\.html'
  109.     _TESTS = [
  110.         # Recorded news broadcast with referrals to related broadcasts
  111.         {
  112.             'url': 'https://www.deutschlandfunk.de/fechten-russland-belarus-ukraine-protest-100.html',
  113.             'info_dict': {
  114.                 'id': 'fechten-russland-belarus-ukraine-protest-100',
  115.                 'title': r're:Wiederzulassung als neutrale Athleten [-/] Was die Rückkehr russischer und belarussischer Sportler beim Fechten bedeutet',
  116.                 'description': 'md5:91340aab29c71aa7518ad5be13d1e8ad'
  117.             },
  118.             'playlist_mincount': 5,
  119.             'playlist': [{
  120.                 'info_dict': {
  121.                     'id': '1fc5d64a',
  122.                     'title': r're:Wiederzulassung als neutrale Athleten [-/] Was die Rückkehr russischer und belarussischer Sportler beim Fechten bedeutet',
  123.                     'ext': 'mp3',
  124.                     'duration': 252,
  125.                     'thumbnail': 'https://assets.deutschlandfunk.de/aad16241-6b76-4a09-958b-96d0ee1d6f57/512x512.jpg?t=1679480020313',
  126.                     'uploader': 'Deutschlandfunk',
  127.                     'series': 'Sport',
  128.                     'channel': 'deutschlandfunk'
  129.                 }
  130.             }, {
  131.                 'info_dict': {
  132.                     'id': '2ada145f',
  133.                     'title': r're:(?:Sportpolitik / )?Fechtverband votiert für Rückkehr russischer Athleten',
  134.                     'ext': 'mp3',
  135.                     'duration': 336,
  136.                     'thumbnail': 'https://assets.deutschlandfunk.de/FILE_93982766f7317df30409b8a184ac044a/512x512.jpg?t=1678547581005',
  137.                     'uploader': 'Deutschlandfunk',
  138.                     'series': 'Deutschlandfunk Nova',
  139.                     'channel': 'deutschlandfunk-nova'
  140.                 }
  141.             }, {
  142.                 'info_dict': {
  143.                     'id': '5e55e8c9',
  144.                     'title': r're:Wiederzulassung von Russland und Belarus [-/] "Herumlavieren" des Fechter-Bundes sorgt für Unverständnis',
  145.                     'ext': 'mp3',
  146.                     'duration': 187,
  147.                     'thumbnail': 'https://assets.deutschlandfunk.de/a595989d-1ed1-4a2e-8370-b64d7f11d757/512x512.jpg?t=1679173825412',
  148.                     'uploader': 'Deutschlandfunk',
  149.                     'series': 'Sport am Samstag',
  150.                     'channel': 'deutschlandfunk'
  151.                 }
  152.             }, {
  153.                 'info_dict': {
  154.                     'id': '47e1a096',
  155.                     'title': r're:Rückkehr Russlands im Fechten [-/] "Fassungslos, dass es einfach so passiert ist"',
  156.                     'ext': 'mp3',
  157.                     'duration': 602,
  158.                     'thumbnail': 'https://assets.deutschlandfunk.de/da4c494a-21cc-48b4-9cc7-40e09fd442c2/512x512.jpg?t=1678562155770',
  159.                     'uploader': 'Deutschlandfunk',
  160.                     'series': 'Sport am Samstag',
  161.                     'channel': 'deutschlandfunk'
  162.                 }
  163.             }, {
  164.                 'info_dict': {
  165.                     'id': '5e55e8c9',
  166.                     'title': r're:Wiederzulassung von Russland und Belarus [-/] "Herumlavieren" des Fechter-Bundes sorgt für Unverständnis',
  167.                     'ext': 'mp3',
  168.                     'duration': 187,
  169.                     'thumbnail': 'https://assets.deutschlandfunk.de/a595989d-1ed1-4a2e-8370-b64d7f11d757/512x512.jpg?t=1679173825412',
  170.                     'uploader': 'Deutschlandfunk',
  171.                     'series': 'Sport am Samstag',
  172.                     'channel': 'deutschlandfunk'
  173.                 }
  174.             }]
  175.         },
  176.         # Podcast feed with tag buttons, playlist count fluctuates
  177.         {
  178.             'url': 'https://www.deutschlandfunk.de/kommentare-und-themen-der-woche-100.html',
  179.             'info_dict': {
  180.                 'id': 'kommentare-und-themen-der-woche-100',
  181.                 'title': 'Meinung - Kommentare und Themen der Woche',
  182.                 'description': 'md5:2901bbd65cd2d45e116d399a099ce5d5',
  183.             },
  184.             'playlist_mincount': 10,
  185.         },
  186.         # Podcast feed with no description
  187.         {
  188.             'url': 'https://www.deutschlandfunk.de/podcast-tolle-idee-100.html',
  189.             'info_dict': {
  190.                 'id': 'podcast-tolle-idee-100',
  191.                 'title': 'Wissenschaftspodcast - Tolle Idee! - Was wurde daraus?',
  192.             },
  193.             'playlist_mincount': 11,
  194.         },
  195.     ]
  197.     def _real_extract(self, url):
  198.         playlist_id = self._match_id(url)
  199.         webpage = self._download_webpage(url, playlist_id)
  201.         return self.playlist_result(
  202.             map(self._parse_button_attrs, re.findall(self._BUTTON_REGEX, webpage)),
  203.             playlist_id, self._html_search_meta(['og:title', 'twitter:title'], webpage, default=None),
  204.             self._html_search_meta(['description', 'og:description', 'twitter:description'], webpage, default=None))