что такое апскейлинг в телевизоре
Как работает апскейлинг? Раскрываем секреты современных телевизоров
Помните, что раньше без ИИ вроде бы легко обходились, тем более в таком, казалось бы, обычном деле. Отвечаем: в реальности приведение любого видео к тому, что отображается на экране современных телевизоров — это очень сложный процесс.
Простым увеличением разрешения подобно растягиванию фотографий на весь экран он не был никогда, даже в эпоху DVD-плееров и HD Ready-телевизоров. Но если для преобразования в Full HD-телевизорах применяли лишь пару несложных методов для улучшения картинки при апскейлинге: интерполяцию, сглаживание наклонных линий и шумоподавление, то для 4К и тем более для 8К этого явно недостаточно.
Требования к качеству обработки изображения возросли многократно, потому что любые устройства столь высокого разрешения по отношению к контенту работают подобно лупе, выявляющей все недостатки видеотрансфера. И чтобы он достойно выглядел на телевизорах такого разрешения, его нужно улучшать. Это вполне возможно, ведь улучшают фотографии перед публикацией профессиональные ретушеры и дизайнеры. Они подходят индивидуально к каждому фото, чаще всего обрабатывая его участками: где-то осветляют, где-то затемняют, где-то смягчают, а в другие детали делают более резкими и т.д. Искусственный интеллект в QLED-телевизорах поступает аналогично, но 60 раз в секунду.
Чтобы он различал, какие участки надо обрабатывать соответствующими методами, в память телевизоров зашиты паттерны характерных типов изображения, представляющие собой цифровые коды частотных характеристик, ведь изображение — это тоже набор частот, своеобразных тембров, но более сложных, чем звук.
В итоге он легко отличает характерную «пленочную» киношную зернистость и грунт от шума, волосы от дефектов чересстрочности, однородные поверхности зданий от неба и водную рябь от блочности, вызванной сбоями или малым битрейтом видео. И таких паттернов в память заложены сотни! А высокая мощность процессоров позволяет применять их для обработки все одновременно.
В итоге на новых QLED-телевизорах даже с разрешением 8К даже эфирный DVB-T2-сигнал нашего телевидения выглядит хорошо, а 4К-видео — превосходно. И при этом не возникает мысли о том, что телевизор обращается с сигналом грубо. Наоборот, все смотрится потрясающе. А ведь в большинстве случаев телевизорам приходится работать с Full HD-сигналом, потому что именно в таком разрешении сохраняется подавляющее число фильмов, трансляций и видеороликов в YouTube.
То есть разрешение при этом увеличивается в 16 раз! Попробуйте увеличить свои фото в 16 раз без обработки. А у телевизора получается так увеличивать разрешение видео, и результат не вызывает отрицательных эмоций, если видео не совсем уж низкого качества. Чудо? Не совсем. Скорее результат работы высоких технологий.
Все об искусственном интеллекте в телевизорах: апскейлинг, улучшение яркости, балансировка цвета и прокачка звука
Вряд ли мы сильно ошибемся, назвав искусственный интеллект (далее ИИ) главным трендом последних лет. Никого уже не удивить возможностями ИИ в камерах телефонов, дипфейками, голосовыми ассистентами или «умными» лампочками. Одной из самых быстро-развивающихся областей для подобных технологий неожиданно для многих стали телевизоры. Впрочем, называть это полноценным ИИ и в 36-й раз вспоминать Скайнет не стоит, пока это не столько интеллект, сколько комплекс узконаправленных хорошо натренированных алгоритмов для улучшения изображения или звука. Просто, искусственный интеллект звучит одновременно круче и понятнее.
Как работает ИИ в телевизорах и что умеет?
Многие современные телевизоры ― это как бы уже и не совсем телевизоры. Когда на борту имеется процессор, оперативная память и небольшое хранилище, это уже больше похоже на компьютер. Однако с внедрением ИИ большинство крупных производителей позаботились о том, что для улучшения картинки в телевизоре использовался отдельный предназначенный для этого процессор. LG использует процессоры серии Alpha, у Samsung стоят чипы Crystal и Quantum, у Sony X, а у Phillips ― P5. Дальше мы разберемся с преимуществами и недостатками самых популярных чипов, а пока вернемся к вопросу, что именно и как они улучшают.
 |
Развитие биг дата и машинного обучения открыло перед производителями новые возможности для автоматического улучшения изображения. Процессор способен определять, что именно происходит на экране, после чего увеличивать яркость или контрастность всего изображения, локально подсвечивать или затемнять определенные участки изображения, увеличивать разрешение и все в таком духе. И это лишь на самом базовом уровне. К примеру флагманский чипсет LG Alpha 9 умеет анализировать условия окружающей среды, подстраивая под него яркость и контрастность, а процессоры Quantum от Samsung весьма хороши в апскейлинге, вплоть до 8K.
Подробнее о том, как именно ИИ улучшает звук и картинку
 |
Мощность флагманских процессоров вроде LG α9 и Philips P5 позволяет им в режиме реального времени анализировать и улучшать все изображение или какие-то отдельные его части. Сначала процессор определяет, что именно сейчас выводится на экран. Например, пейзаж с закатом над Токио, рвущие к финишу гоночные машины, пара дерущихся носорогов или сияющие бицепсы Дуэйна Джонсона. Алгоритмы тренировали, прогоняя через сотни тысяч изображений, чтобы они могли их лучше понимать, на что смотрят (животные, спорт, пейзажи и т. д.), а потом обрабатывать изображение согласно этой классификации. В общем-то, в этом нет никакой фантастики, похожие алгоритмы распознавания мы не первый год используем в камерах смартфонов.
Собственно после этого в дело и вступают алгоритмы подстройки, которые выбирают оптимальные показатели для шумоподавления, повышения детализации, усиления резкости, подстройки яркости, гаммы и т. д. У каждого производителя эти «улучшайзеры» могут по разному называться и отличаться в деталях, но на самом деле все сводится к нескольким схожим между собой процессам, которые проходят в несколько этапов.
Апскейлинг
 |
За малопонятным термином апскейлинг на самом деле прячется довольно простой по своей сути процесс искусственного масштабирования изображения. Чтобы купив телевизор с 4K вы могли нормально посмотреть любимый фильм или сериал в этом самом 4K. Иначе, зачем вообще нужен такой телевизор? Идея апскейлинга не нова, вы могли встретить ее в некоторых DVD-плеерах от BBK, консоли Sony PlayStation 3 и многочисленных шпионских боевиках, в которых герой смотрит на фотографию с камеры наблюдения с гигантскими пикселями, потом говорит «компьютер, увеличить» и нам сразу же становятся видны черты лица злодея на фото. Первые 4K-телевизоры создавались без ИИ-процессоров и в этом плане тоже не блистали, просто масштабируя SD-ролики на всю площадь матрицы с помощью простого увеличения пикселей.
Технология апскейлинга в современных ТВ позволяет нейросети не только растягивать картинку, но и дорисовывать недостающие пиксели, сглаживать неровности, убрать лишний шум и размытость объектов, которые находятся в движении. Конечный результат в одних случаях смотрится практически идеально, в других терпимо. Зависит это как от конкретного телевизора и процессора, так и от типа контента. Поэтому многие производители оптимизируют алгоритмы масштабирования под разные типы контента (кино, спорт, игры), чтобы получить наилучший результат при просмотре того или иного контента. От себя добавим, что во время тестов некстген консолей мы сравнивали наитивное 4K разрешение в Xbox Series X с апскейлом до 4K в младшей Xbox Series S. И вот разница была видна только если подойти к телевизору ближе, чем на метр. Сравнивали мы на панели Samsung QE-55Q77TA, а играли в Gears 5 и Battlefield V.
Upscale: что это такое и где применяется
Авторизуйтесь
Upscale: что это такое и где применяется
Директор по технологии IVI
Технологии не стоят на месте. Ещё 20 лет назад контент в HD-качестве был пределом наших мечтаний. А сегодня телевизор с поддержкой 4K — норма. Но что делать с фильмами и сериалами, снятыми в прошлом столетии? Разбираемся, как улучшают качество изображения, с какими трудностями сталкиваются и к каким результатам приходят.
Что такое upscale?
Upscale — это перевод видео из меньшего разрешения в большее: из HD — в Full HD, из Full HD — в Ultra HD и так далее. Это ремастеринг (то есть обработка и улучшение) картинки кадр за кадром. Вручную провести его невозможно, поэтому процессом руководят алгоритмы, в том числе нейросети.
Сейчас есть ряд моделей, которые могут быстро улучшить качество изображения. Данными для их обучения служат уже существующие 4K-фильмы. Специалисты берут видеофрагмент нужного разрешения (допустим, 4K) и снижают его качество до 1080р. А затем на большом датасете из таких пар — истинные 4K и 1080р — модель учится менять разрешение кадра.
В IVI upscale работает в рамках собственной системы подготовки контента к стримингу. Она написана на Python, первая её версия появилась ещё в 2009 году и с тех пор регулярно обновляется. Её задача — получить видеофайл и преобразовать его в разные форматы, доступные на всех типах устройств, которые поддерживает IVI.
Все, что связано с кодированием, в системе находится в docker-контейнерах. Это позволяет избежать сложностей с настройкой инфраструктуры, сборкой FFmpeg, версиями. В системе есть API, админка для разработчиков, админка для операторов кодирования, управление контейнерами и оркестрация.
Чтобы преобразовать видео в другой формат, сначала проверяют битрейт, пропорции, количество кадров в секунду, звуковые дорожки и другие параметры оригинала, который прислал правообладатель. Потом происходит кодирование оригинала в нужный битрейт, упаковка в нужный контейнер (иногда с шифрованием), отправка на origin-сервер, контроль качества и запуск контента на всех платформах, которые поддерживает IVI.
В эту систему входит и модуль upscale. Он написан на Python, модель обучалась на 30 000 изображений. На его разработку ушло полгода, но ещё больше — на предварительные исследования и метания. Сейчас этот модуль работает так: оператор создаёт новую задачу на кодирование, выбирает тип преобразования и запускает отдельный контейнер, внутри которого выполняется процедура upscale. Файлы-результаты загружаются на специальные серверы для хранения оригиналов, откуда через CDN они становятся доступны пользователям.
Сложности upscale
Как и у любой технологии, у upscale есть свои ограничения.
Например, из видео хорошего качества с разрешением 1080р можно восстановить 4K. Сложности возникают на этапе ремастеринга более старых фильмов — производства 90-х годов и раньше. Особенно тяжело работать с картинами, снятыми на плохую пленку и впоследствии оцифрованными. Это связано с тем, что любой дефект — будь то пятно, волос или блик — в «искусственном» 4K будет гиперболизирован за счёт особенностей обучения модели.
Так появляется необходимость искать дефекты и избавляться от них. Существуют алгоритмы поиска и классификации дефектов и последующей их ликвидации. Один из методов обучения моделей по ликвидации дефектов — подход, используемый для обучения моделей upscale. На изображения без дефектов наносятся дефекты. Затем пары (изображение с дефектом, изображение без него) используются для обучения.
К сожалению, полностью автоматизировать данный процесс ещё не получилось, поэтому пока что его результаты модерируют люди.
Можно ли отличить истинный 4K от upscale?
Не так давно в IVI проводили слепое тестирование, чтобы проверить, смогут ли зрители отличить видео в оригинальном 4К от видео, которое прошло upscale до 4К. Взяли видео в изначальном 4K, ухудшили его качество до 1080р, а потом провели upscale и повысили качество снова до 4K. Показали оба варианта выборке в 300 человек.
В результате исследования истинный 4K смогли определить только люди, которые профессионально занимаются монтажом, графикой и операторской деятельностью. Остальные зрители поделились ровно пополам: кому-то понравился исходник, кому-то — upscale. При этом абсолютное большинство поставили высокую оценку качеству обоих видео (от 93 до 95 из 100) и сказали, что не заметили в анализируемых роликах никаких графических помех или шумов. С помощью этого эксперимента мы убедились, что алгоритмы, которыми мы пользуемся, работают качественно.
Все ли фильмы можно апскейлить?
В теории, конечно, можно всё. Но это попросту не имеет смысла: дорого и долго. Фильмы, которые проходят upscale, тщательно отбирают. Обычно это популярные, зрелищные кинокартины с экшен-сценами.
Апскейл: изгой или панацея?
Замкнутый круг
На протяжении последних 2-3 лет недостаток предложения 4K-контента эксперты называли одной из главных причин, тормозящих распространение UHD в индустрии. «Одна из важных проблем развития формата — отсутствие широкого контентного предложения в 4K. Появились устройства, позволяющие смотреть контент в лучшем на данный момент качестве; появляется спрос со стороны пользователей, но уже после возвращения домой с новым телевизором, поддерживающим 4K, пользователь сталкивается с ограничением в контентном предложении», — говорила «Теле-Спутнику» директор по развитию бизнеса, партнерств и платной модели ivi Ирина Грандель, и эта констатация стала своего рода рыночной константой: время идет, а ситуация практически не меняется.
Так, по данным LG Electronics, приведенным в ходе форума CSTB-2019, на российских онлайн-платформах представлено в общей сложности около 400 фильмов и сериалов в UHD на русском языке, часть из них — с поддержкой HDR. В библиотеках онлайн-платформ количество таких единиц контента меньше: по информации генерального директора «Megogo Россия» Виктора Чеканова, в каталоге сервиса их около 300, при том что перечень Full-HD-контента насчитывает более 6,9 тыс. наименований. В онлайн-кинотеатре ivi зрителям доступно более 200 единиц контента в 4K (всего на платформе более 62 тыс. единиц контента).
С учетом малого объема предложения получается замкнутый круг: массовый потребитель не готов платить за 4К-телеканалы и отдельные тайтлы, сетуя на малый объем доступного в этом формате контента, а вещатели и дистрибьюторы отказываются его закупать, объясняя это низким спросом, тогда как производители, технологически готовые к переходу на производство в 4К и даже выпускающие соответствующие релизы, не находят возможности его реализовать из-за малого спроса со стороны операторов и вещателей.
Оптимистично настроенные игроки рынка говорят, что замкнутый круг исчезнет сам собой с течением времени. «Производители техники уже выпускают достаточное количество телевизоров 4К, теперь студиям нужно больше снимать фильмов в этом качестве, и тем самым произойдет снижение цены на контент. Телеканалы тоже подтянутся с переходом на новый формат, ну а крупнейшие видеосервисы объединят все достижения индустрии и предложат их зрителям в максимально удобной форме», — прогнозирует Виктор Чеканов. С другой стороны, подобные заявления звучат давно, а явных улучшений не происходит, что укрепляет скептиков в их сомнениях относительно перспектив UHD-индустрии.
Один из возможных путей выхода — апскейл (масштабирование изображения до более высокого разрешения) Full-HD-каталогов, а также оперативное повышение разрешения до 4К новых релизов, по-прежнему выходящих в HD. Правда, говоря об апскейле, необходимо разделять его разновидности, поскольку они обеспечивают различное качество изображения на выходе и, соответственно, могут удовлетворять разные категории потребителей. В ivi говорят, что примерно половина из UHD-каталога видеосервиса — нативная (изначально снята в формате 4K), из чего следует, что оставшаяся половина получена за счет апскейла. «Это не просто автоматическая кодировка: мы обрабатываем каждую единицу контента вручную, зачищая артефакты и настраивая цветопередачу. Мы стараемся дать пользователям с устройствами, позволяющими проигрывать 4K, больше такого контента», — описывает Ирина Грандель используемый ivi так называемый студийный апскейл. В ivi считают, что пользователям «все равно — нативный 4К или не нативный».
Говоря об апскейле, необходимо разделять его разновидности, поскольку они обеспечивают различное качество изображения на выходе и, соответственно, могут удовлетворять разные категории потребителей.
Главный инженер Ciena в России и СНГ Евгений Савельев соглашается, что большинству людей полученного таким образом качества картинки будет достаточно. Он уточняет, что апскейл можно делать и другим способом — в потоке, на лету, например, на устройстве агрегации. Наконец, можно масштабировать экранное разрешение и на самом телевизоре: сами вендоры считают эту функцию само собой разумеющейся, разрабатывая все новые алгоритмы программно-аппаратного апскейлинга не только до 4К, но и до 8К. Евгений Савельев замечает, что ни в каком виде апскейлинг не принимают энтузиасты и гурманы UHD, однако количество таких потребителей невелико. «Знаю нескольких таких людей. Их категорически не устраивает апскейлинг. Они хотят получить качество исходника. Прилагают для этого массу усилий. Энтузиасты 4K, которые способны уловить разницу между Full HD и UHD и получают от этого удовольствие, — это, как правило, люди с деньгами. Они готовы их тратить для того, чтобы получить это удовольствие», — поясняет главный инженер Ciena в России и СНГ.
Директор по маркетингу фиксированного бизнеса и ТВ МТС Наталья Братчикова называет апскейл в потоке «достаточно суррогатным способом легкого обмана пользователя за небольшие деньги». В то же время она говорит, что студийный апскейл может быть интересным, например, когда масштабируется какой-то объем программного материала телевизионной передачи, для того чтобы комбинировать его с нативными 4К-съемками. «Не весь объем контента снимается в 4К, но его можно монтировать бесшовными переходами с кадрами, подвергнутыми апскейлу», — поясняет Наталья Братчикова, оговариваясь, что на текущий момент она не встречала коммерческих решений для такого вида апскейла, возможно, потому, что «это сложно и дорого». У МТС есть опыт самостоятельного апскейла контента с разрешения его правообладателя, однако он не стал массовым, поскольку оператор исходит из того, что, повышая разрешение, невозможно получить уникальный контент, а простое улучшение качества оправдано далеко не всегда. Скажем, при спутниковых трансляциях занимается дополнительная транспондерная емкость с соответствующим увеличением затрат на трансляцию.
Не отвергают апскейл как таковой и в «Megogo Россия». «Мы за апскейл, но он должен быть очень качественным. Да, он у нас есть, но добавляем мы только те тайтлы, которые отвечают всем требованиям производителей телевизоров на соответствие 4К-формата. Апскейл до 4К может быть эффективным способом пополнения каталога при формировании собственного канала в 4К или подписки только с 4К-контентом», — комментирует Виктор Чеканов.
Снимать нельзя апскейлить
Большинство российских продюсеров до сих пор демонстрируют нежелание снимать фильмы и сериалы в 4К, вызывая такой позицией удивление Антона Артемьева, генерального директора компании Arspro, специализирующейся на производстве контента полного цикла, в том числе на постпродакшене. «Производство контента в 4К сегодня ничем не отличается от производства HD-контента. Небольшая разница — увеличение примерно на 10% затрат на рендеринг графики», — говорит Антон Артемьев, подчеркивая, что в Arspro эти дополнительные затраты в счет не включают, так что цена постпродакшена условной минуты 4К-контента в компании такая же, как и за минуту постпродакшена в HD.
Объясняет это глава продакшен-студии тем, что в РФ применяется совсем немного профессиональных цифровых съемочных кинокамер. «В основном используются камеры RED, матрицы которых давно снимают в 6К и даже в 8К. Поэтому я называю продюсеров жадинами: увеличение затрат для них при съемке в 4К выливается в дополнительные жесткие диски, необходимые из-за увеличения объема отснятого материала. Для сериала нужно дополнительно четыре жестких диска. Пусть они стоят по 10 тыс. рублей. Что, в бюджете сериала не выделить 40 тыс. рублей?» — недоумевает Антон Артемьев. Именно нежелание продюсеров снимать в 4К и делать постпродакшен нативного 4К-материала в новых проектах руководитель Arspro называет главной причиной нехватки UHD-контента. В то же время апскейл до 4К отснятого, смонтированного и отмастеренного в HD контента с этой точки зрения не вполне экономически обоснован: продюсер уже понес затраты на постпродакшен в HD, минута которого, повторимся, в том же Arspro не отличается по цене от постпродакшена в 4К, а ему предлагается нести затраты на условную единицу контента второй раз, при том что у продюсера совсем нет уверенности, что дополнительные затраты будут амортизированы при последующей продаже прав на показ.
Усугубляет проблему недостаточно высокая культура производства на съемочных площадках, на которую сетует глава Arspro: технические специалисты, обслуживающие камеры, выставляют на них настройки на свое усмотрение, не принимая во внимание условия, в которых будет вестись постпродакшен. Это касается, например, степени компрессии исходного материала, при том что экономия объема дисковых хранилищ в этом случае сомнительна. Антон Артемьев замечает, что съемочные команды ориентируются на технические требования телевизионных каналов, которые будут впоследствии показывать произведенный контент, в то время как возможности его показа не исчерпываются вещанием в традиционных средах.
Что нужно для качественного апскейла
Сам процесс качественного студийного апскейла глава Arspro сравнивает с реставрацией кинопленки. «При восстановлении кинопленки с каждым кадром вручную работают реставраторы. При обработке цифрового видео работают с каждым отдельно взятым шотом — мы используем этот термин из компьютерной графики. К примеру, в минутной сцене может быть 20 склеек, соответственно, цветокорректор работает с 20 шотами. Мы в буквальном смысле разрезаем фильм по шотам и проходимся по каждому из них», — объясняет суть студийного апскейла Антон Артемьев. Он признает, что корректировать шоты может и нейросеть, подобно тому, как это происходит при апскейле на лету в устройствах агрегации или в телевизорах. Однако даже специально обученная в течение как минимум двух лет нейросеть обеспечивает качество картинки в каждом шоте на 30% хуже, чем при ручной обработке, уверяют в Arspro. «Ручной апскейл гораздо лучше и качественней. Понятно, что вручную ничего не дорисуешь, как это пытается сделать нейросеть. Но за счет знаний в области цветокоррекции, понимания, как работает яркость и контрастность, можно добиться значительно лучшего результата, чем при коррекции на лету», — поясняет гендиректор Arspro. При ручной обработке используется два основных программных продукта для постпродакшена с десятью индустриальными плагинами и четырьмя собственными, написанными в компании. Для каждого шота выставляются индивидуальные настройки, учитывающие нюансы изображения, которые запоминаются, после чего начинается так называемый «выгон мастера» — рабочая станция или сервер, используемый для постпродакшена, вносит корректировки в исходный материал, фиксируя их в мастер-файле.
Важный этап постпродакшена как с апскейлом, так и с нативным 4К — чистка цифровых шумов, возникающих в самой съемочной камере или при компрессии. Исходный файл фильма длительностью 100 минут с шумами может занимать объем до 300 Гб, после чистки этот объем уменьшается до 250 Гб.
В среднем постпродакшен стоминутного фильма занимает неделю, большая часть которой уходит на работу с шотами и присваивание необходимых настроек. Антон Артемьев замечает, что работающие в постпродакшен-студиях колористы делятся на «творцов» и «технарей». Для постпродакшена больше подходят вторые: процесс обработки изображения понятный и довольно рутинный.
Говоря о технологиях аппаратного апскейла непосредственно в телевизорах как об альтернативе ручному студийному постпродакшену, глава Arspro настаивает, что первый способ убивает пластику изображения, что очень хорошо заметно на фильмовом и сериальном контенте. Но он признает, что эта функция вполне может использоваться при воспроизведении нехудожественного контента — например, при показе новостей или документальной хроники. Транслируемая в этом случае яркая контрастная картинка вещательного качества позволяет повышать разрешение изображения без видимой глазом деформации его структуры. «Когда на телевизоре с апскейлом показывают новости или документалистику, обычный зритель говорит, что все нормально. Как только включают художественный фильм, начинаются сравнения с кинотеатром и люди говорят, что там картинка была другая», — резюмирует глава продакшен-студии.
Подпишитесь на канал «Телеcпутника» в Telegram: перейдите по инвайт-ссылке или в поисковой строке мессенджера введите @telesputnik, затем выберите канал «ТелеСпутник» и нажмите кнопку +Join внизу экрана.
Подпишитесь на канал «Телеcпутника» в Telegram: перейдите по инвайт-ссылке или в поисковой строке мессенджера введите @telesputnik, затем выберите канал «ТелеСпутник» и нажмите кнопку +Join внизу экрана.