Что такое цифровая платформа интеллектуальной информационной системы
Цифровые платформы
Что такое цифровые платформы
Основные типы цифровых платформ
Существует несколько типов цифровых платформ:
инфраструктурные цифровые платформы, связанные с экосистемами участников рынков информатизации, на которые выводятся ИТ-сервисы, использующие сквозные цифровые технологии работы с данными и доступ к источникам информации и применяемые в пределах экосистем. К платформам такого типа относятся General Electric Predix, ESRI ArcGIS, ЕСИА, «CoBrain-Аналитика», ЭРА-ГЛОНАСС (партнёрская программа);
Также цифровые платформы различаются по группам участников и уровням обработки информации:
инфраструктурные цифровые платформы объединяют поставщиков информации, разработчиков и операторов платформ, разработчиков и потребителей ИТ-сервисов и применяются для выработки информации для принятия решений на уровне хозяйствующих субъектов;
Каждый тип платформ играет свою роль в цифровой экономике. Так, инструментальные платформы снижают себестоимость разработки программных и программно-аппаратных решений, а инфраструктурные и прикладные цифровые платформы сокращают издержки на каждую дополнительную единицу доступа, копирования и распределения информации, товаров или услуг.
Более подробно узнать о цифровых платформах, а также получить все необходимые для работы с ними знания можно в рамках курсов по программам MBA IT, которые проводит ЦРК БИ (ЦЕНТР РАЗВИТИЯ КОМПЕТЕНЦИЙ В БИЗНЕС-ИНФОРМАТИКЕ) НИУ ВШЭ. Записаться на курсы можно здесь.
Информационные интеллектуальные сети и Семантический Веб
Информационные интеллектуальные сети, Семантический Веб, Веб 3.0, ИИ… Эти слова все чаще стали появляться в нашем обиходе.
Целая эпоха универсального Интернета заканчивается. Она начинает сменяться до того, как мы начинаем это ощущать. На смену едва оформившемуся термину Web 2.0 уже приходит другой, непонятный и загадочный на первый взгляд — Web 3.0, или же просто «Семантический Веб».
О том, что это такое и куда движется наш интернет, я хотел поговорить в этой статье.
Сейчас сеть становится персональной. «Интернет все больше знает о нас». Отчасти, мы сами способствуем этому, раздавая свою персональную информацию в социальных сетях, пользуясь поисковыми системами, будучи авторизованными.
Это означает, что скоро, вводя в строку поиска «Хочу постричься недорого», пользователь получит ответ в виде ближайшей парикмахерской к его местоположению в виде четкого ответа на четкий вопрос – нам не надо будет переходить по 10, 20, 50 ссылкам из поисковой выдачи разных поисковиков, расстраиваясь в очередной раз, что очередная открытая вкладка – это очередной дорогой салон, продвигаемый силами SEO специалистов.
Это касается различных сфер жизни и деятельности человека – начиная от бытовых и заканчивая более глобальными. Например, покупка автомобиля или квартиры, поиск работы и другие.
Более того, поисковая система сможет определить, какой именно автомобиль нужен пользователю на основе информации о том, какими тест-драйвами он больше всего интересуется и какие автомобильные сайты посещает, в каком районе и в каком ценовом диапазоне вы хотите найти квартиру, не голодны ли вы, какую еду предпочитаете и так далее.
С развитием семантического веба после сбора определенных данных о пользователе технологии позволят составить его социально-демографический портрет. Собранные пользовательские данные компьютеры будут понимать уже как портрет личности.
Во многом такой динамике способствует стремление упростить сервисы и сделать упрощенный доступ пользователей к контенту. Ставшая модной в последняя время, авторизация через социальные сети (Вконтакте, Facebook), специальные сервисы (OpenID, OAuth), комментирование через виджеты социальных сетей.
Наши сотовые сети завязывают на себя персональную информацию.
Информация – вот что будет играть решающую роль в будущем интернете!
Продвигаемая крупными игроками рынка технология NFC – предоставляющая возможность совершать покупки, используя мобильный телефон (в том числе, оплачивать проезд в метро, например), все больше связывает наши сим-карты, телефоны, банковские карты, стягивая нашу персональную информацию в единую точку.
Попробуем во всем разобраться, но пока начнем по порядку с малого. Для начала давай-те вместе с вами рассмотрим интеллектуальные информационные системы (ИИС).
Информационные интеллектуальные системы
ИИС (intelligent information system) – это информационная система, которая основана на концепции использования базы знаний для генерации алгоритмов решения задач различных классов в зависимости от конкретных информационных потребностей пользователей.
Особенности и признаки интеллектуальности ИС
Коммуникативные способности ИИС характеризуют способ взаимодействия (интерфейса) конечного пользователя с системой.
Интеллектуальными считаются задачи, связанные с разработкой алгоритмов решения ранее нерешенных задач определенного типа
Интеллект представляет собой универсальный алгоритм, способный разрабатывать алгоритмы решения конкретных задач.
Если в ходе эксплуатации ИС выяснится потребность в модификации одного из двух компонентов программы, то возникнет необходимость ее переписывания. Это объясняется тем, что полным знанием проблемной области обладает только разработчик ИС, а программа служит “недумающим исполнителем” знания разработчика. Этот недостаток устраняются в интеллектуальных информационных системах.
Недостатки ИС и их устранение в ИИС
Классификация ИИС
I класс: системы с интеллектуальным интерфейсом (коммуникативные способности):
II класс: экспертные системы (решение сложных задач):
III класс: самообучающиеся системы (способность к самообучению):
Интеллектуальные БД
Интеллектуальные БД – отличаются от обычных возможностью выборки по запросу информации, которая может явно не храниться, а выводиться из имеющейся БД (например, вывести список товаров, цена которых выше отраслевой).
Естественно-языковой интерфейс предполагает трансляцию естественно-языковых конструкций на машинный уровень представления знаний. При этом осуществляется распознавание и проверка написанных слов по словарям и синтаксическим правилам. Данный интерфейс облегчает обращение к интеллектуальным БД, а также голосовой ввод команд в системах управления.
Гипертекстовые системы предназначены для поиска текстовой информации по ключевым словам в базах.
Системы контекстной помощи – частный случай гипертекстовых и естественно-языковых систем.
Системы когнитивной графики позволяют осуществлять взаимодействие пользователя ИИС с помощью графических образов.
Семантический Веб
HTML-страница описывает как представить информацию визуально в Веб-браузере и трудно поддаётся смысловому анализу компьютерами. Для неё невозможно автоматизировать даже такие тривиальные задачи, как нахождение людей, проектов, программ в Интернете.
Технология Семантический Веб (Semantic Web) позволяет компьютеру интерпретировать информацию в Вебе наравне с людьми, для чего разработана графовая модель описания ресурсов RDF (Resource Description Framework), которая является спецификацией W3C.
С помощью RDF можно создавать любые утверждения о любых ресурсах.
Графовая модель RDF
Утверждения о ресурсах в модели RDF состоят из троек.
Ресурсы и свойства представляются в виде URI, а литералы в формате Unicode. URI позволяет уникальным образом идентифицировать ресурсы в Вебе, а Unicode решает проблему мультиязычности.
RDF схема – это не XML схема
RDF схема описана в утверждениях RDF.
В отличие от XML схемы определяет ресурсы (термины) предметной области, а не ограничивает структуру RDF.
За ресурсами RDF схемы в спецификации W3C закреплена семантика.
Пример RDF схемы, описанной с помощью RDF
Семантика данных – что это такое?
Под семантикой данных будем понимать возможность формального описания смысла передаваемых данных, делая их независимыми от приложений. Это особенно важно в контексте рассматриваемых нами перспектив развития Интернета – побеждает тот, у кого есть данные. Может быть очень много приложений, сайтов, сервисов, но сами по себе они будут очень мало чего значить. Будут выигрывать те, кто сможет предоставлять свой контент в любом, удобном пользователю контенте.
Какие данные можно использовать независимо от сервисов, в которых они используются сегодня: данные из баз данных, XML-документы, приложения в социальных сетях? Нет, потому что их семантика зашита в логике программы и/или неформально в спецификациях. Только данные снабжённые явной семантикой можно сделать действительно независимыми от приложений!
Зачем нужен RDF? Чем плох XML?
Вложенность тегов XML несет только синтаксис, но не несёт никакой семантики. Если мы рассмотрим различные возможные формы представления утверждения “Иван Петров преподает курс информатики” в формате XML:
Приложение, которое использует первый формат, не сможет понять два других формата и наоборот. Поэтому, XML хорош только как формат (синтаксис) для обмена данными, но не как модель описания семантики данных! Это же можно сказать и про другие популярные форматы (JSON, например).
Где в RDF семантика?
На уровне модели RDF семантика появляется благодаря использованию онтологий OWL (Ontology Web Language), благодаря которым компьютер может понимать, как известный ему ресурс или свойство связано с другим, неизвестным ему ресурсом или свойством соответственно и производить другие логические выводы над утверждениями RDF.
Онтологии основываются на математическом аппарате формальной логики (description logic, DL), малое подмножество которого охвачено RDF схемой. DL является вычислимым подмножеством логики первого порядка.
Пример использования семантики
Как проинтерпретирует следующие утверждения приложение, которое понимает только ресурсы словаря foaf?
Оно поймёт, что Pugofka: semantic #Lector является foaf:Person и выведет новое утверждение:
Семантические хранилища
Предполагается, что большие объёмы RDF данных будут храниться в семантических хранилищах и для доступа к ним использоваться язык запросов SPARQL – аналог SQL.
Пример запроса “вывести все проекты, созданные Pugofka” на SPARQL:
В качестве примеров развития направления можно привести создание новых проектов. Так, например, компания «Clark&Parsia» (http://clarkparsia.com/) уже имеет несколько серьезных проектов в сфере Семантического Веба, и на первые числа Апреля назначен старт бета-тестирования RDF-базы данных под названием StarDog.
Уровни Семантического Веба
Эволюционный подход
Семантический Веб это не замещение существующего интернета, а всего лишь его эволюционное развитие. RDF/XML либо внедряется внутрь HTML или доступен по URL.
По этому принципу уже широко используются в WWW RDF-данные с использованием словарей RSS, FOAF (Friend Of A Friend), DOAP (Description Of A Project).
Пример кода FOAF на странице пользователя LiveJournal
Семантический веб – цели, задачи, примеры
Семантический Веб создан не на пустом месте. В него заложены фундаментальные основы:
Технологии, которые задействованы в Семантическом Вебе
Примеры программной поддержки технологии
Направления исследования
Задачи и проблемы Семантического Веба:
Заключение
Семантический Веб – это динамичная, постоянно развивающаяся концепция, а не набор комплексных, работающих систем.
Веб 3.0 – очень многогранное и, на текущий момент, до сих пор не сформированное понятие. Его можно рассматривать с разных точек зрения.
Например, с точки зрения машинной обработки данных – Семантический веб – это идея хранить данные такие образом, чтобы они были определенными и связанны, а также существовала возможность их дальнейшей автоматизированной обработки, интеграции и многократного использования в различных сервисах, приложениях и т.п.
С точки зрения интеллектуальных агентов, то целью будет являться более «машиноориентированный» Веб,
с тем, чтобы можно было наиболее эффективно использовать поисковых пауков (агентов) для поиска и обработки информации.
С точки зрения распределенных баз данных, баз знаний, то концепция Семантического Веба заключается в описании, добавлении дополнительной мета информации, которая позволяет однозначно идентифицировать и сопоставить информацию.
Концепция Веб 3.0 подразумевает наличие целой инфраструктуры.
С точки зрения обслуживания пользователей (потребителей контента) – идея Веб 3.0 заключается в минимизации действий пользователю и выдаче в качестве ответа на его запрос непосредственного ответа на его запрос, который будет учитывать не только его запрос, но и всю его историю, особенности (социально–психологический портрет), вкусы, интересы и многие другие факторы.
С точки зрения качества поиска – реализация поиска не только по ключевым словам или контексту, но и по контенту. Выдача точного ответа на запрос пользователя. Во многом, использование поисковой системы, как экспертной системы.
С точки зрения веб-сервисов Семантический Веб обеспечивает доступ не только к существующим статическим сайтам, но и к динамическим, приложениям, сервисам и другим ресурсам, содержащим полезный контент.
Прыгать с платформы запрещено
Что такое цифровые промышленные платформы и где они обитают
Привет, Хабр! Меня зовут Игорь Колобов, я менеджер продукта в «Цифре». Конкретнее — работаю в команде по развитию цифровой промышленной платформы ZIIoT. Здесь я расскажу в целом о том, что такое цифровая промышленная платформа, каково её предназначение и функции, а также на примере нашей платформы ZIIoT (Zyfra Industrial Internet of Things Platform) — о принципах работы и внутреннем устройстве.
Acknowledgement: этот пост мы готовили вместе с Фёдором Арефьевым, который со мной и другими коллегами работает над развитием платформы и приложений для нее.
Что такое цифровая промышленная платформа
Сейчас самое модное понятие в промышленности — Индустрия 4.0. Оно описывает новый образ производства с высокой, а в идеале — полной, автоматизацией и управлением с помощью интеллектуальных систем. В основе работы этих интеллектуальных систем — достоверные и оперативные данные о производственных процессах. Это своего рода «нефть» для искусственных мозгов. Поэтому любому проекту по внедрению искусственного интеллекта предшествует проект по организации сбора промышленных данных. Идея промышленной цифровой платформы ZIIoT как раз в и заключается в централизованном сборе данных о производственных активах и использовании этих данных для создания интеллектуальных приложений и сервисов. Как сказал один наш клиент: «Собирайте данные, даже если пока не знаете, зачем они вам нужны. Когда дойдет дело до искусственного интеллекта, они вам пригодятся».
И тут у читателя может возникнуть резонный вопрос — не изобретаем ли мы велосипед, ведь для сбора промышленных данных уже есть большое количество систем класса MDC и MES.
Системы MDC собирают данные о промышленном оборудовании: сколько станки работали, сколько простаивали и по каким причинам, какой оператор в это время был у машины и какие действия совершал. Эта информация обрабатывается системой и предоставляется лицам, ответственным за управление производством, в виде схем, таблиц и графиков, а если на предприятии внедрена MES, то и туда.
MES позволяет осуществлять оперативное управление производством на уровне цеха: составлять производственные расписания, распределять и контролировать потребление ресурсов, отслеживать историю продукта, управлять производственными процессами, персоналом и документами и в автоматическом режиме анализировать производительность. Это своего рода промежуточное звено между ERP и АСУТП.
Большинство этих систем представляют собой монолитный продукт и не имеют в своем составе инструментов для разработки приложений.
Платформа — это, прежде всего, среда для сбора и управления данными, куда можно направить все данные со всех производственных подразделений и со всех ИТ-систем, которыми уже успело обзавестись предприятие, привести эти данные к единому формату, использовать их для управления предприятием централизованно и раздавать при необходимости различным промышленным приложениям для управления производством, созданным на базе этой платформы, а также в системы планирования. Для разработки этих промышленных приложений нужна среда. Если промышленное предприятие предпочитает создавать приложения самостоятельно, то весь инструментарий для разработки либо покупается у вендоров, либо создается самостоятельно. Оба варианта требуют инвестиций, а второй ещё и развития внутренних компетенций. Учитывая, что многие промышленные предприятия сегодня всё же смотрят в сторону собственной разработки, мы просто предусмотрели среду разработки в составе ZIIoT.
Таким образом, если описывать устройство промышленной платформы ZIIoT, то получится примерно следующая схема:
Рис. 1. Потоки данных на платформе
Архитектура платформы. Как устроен «дом» для данных
Две ключевые характеристики ZIIoT в плане архитектуры:
Комбинация собственных сервисов с open-source компонентами, что расширяет функциональность для получения синергетического эффекта. Например, Apache Cassandra, представляющая собой NoSQL базу данных, с помощью сервисов платформы становится средством управления временными рядами.
Микросервисная архитектура, что делает ИТ-ландшафт более устойчивым к сбоям и более гибким: новые функции можно добавлять без риска сломать всё решение. Таким образом, мы получаем единую технологическую платформу, но с изолированными функциональными блоками работы с данными и бизнес-логикой.
В ZIIoT больше сотни пользовательских и системных микросервисов, взаимодействие между которыми происходит через REST API. Все они поддерживают горизонтальное и вертикальное масштабирование, и при их развертывании применяется виртуализация, что позволяет платформе быть независимой от операционных систем клиентов.
Рис. 2. Функциональная архитектура ZIIoT
Сервисы сгруппированы в 5 связанных между собой блоков (см. Рис. 2):
Сервисы сбора и хранения отвечают за сбор производственных данных с локальных систем автоматизации, обработку потоков и пакетов данных, хранение временных рядов, событий и неструктурированных данных. Предусмотрены механизмы кластеризации и масштабирования коллекторов.
Сервисы структурирования и обработки данных. Это блок для структуризации потоков разнообразных данных, поступающих из различных производственных систем и обычно содержащих тысячи параметров и миллионы значений. Здесь применяется объектная модель и поддерживается Business-to-Manufacturing Markup Language (B2MML) — язык разметки связи между бизнесом и производством, понятный всем системам при обмене данными. Благодаря этому платформа ZIIoT может взаимодействовать с другими приложениями: ERP, LIMS, MDM и пр. Если B2MML не поддерживается внешней информационной системой, на этот случай имеется набор готовых интерфейсов, позволяющих напрямую запрашивать данные в объектные модели из реляционных баз данных. Также есть возможность разрабатывать специфические интерфейсы, используя возможности сервисов сбора на базе Apache NiFi.
Сервисы настройки и разработки пользовательских интерфейсов. Сюда входят все необходимые инструменты для создания пользовательского интерфейса платформы: дизайнеры мнемосхем, отчетов, бизнес-графики и витрин данных. Они доступны для использования в обычном веб-браузере. С их помощью в личном кабинете пользователи могут создать себе удобную рабочую среду под конкретные задачи.
Сервисы разработки приложений. Их предназначение состоит в том, чтобы структурировать и автоматизировать процесс разработки, контроля качества и доставки решений до конечного пользователя. Сюда входят: среда управления требованиями, менеджер репозиториев исходного кода с системой контроля версий, система автоматизированной сборки приложений (CI), система для обеспечения непрерывной доставки (CD), программная платформа для управления документацией, набор анализаторов исходного кода (в частности, проверки качества кода, проверки зависимых библиотек и поиска уязвимостей). То есть, весь набор инструментов для быстрой разработки.
Сервисы администрирования. Это набор инструментов для управления пользователями, доступом к ресурсам и сервисам, лицензиями, а также для управления программно-аппаратной инфраструктурой и мониторинга функциональности.
Как платформа работает с данными ( пятью крупными мазками)
Сначала осуществляется первичный сбор, валидация и обработка данных из локальных систем автоматизации, чаще всего с уровня АСУТП, после чего выполняется их сохранение в базу данных временных рядов (можно использовать функцию сжатия).
Затем происходит структурирование данных. В зависимости от поставленных задач формируются объектные модели оборудования, персонала, материалов, процессов, операций и т.д.
Все собранные с производства данные привязываются к конкретным объектам моделей через настроенные свойства. Например, если речь идет о каком-либо промышленном резервуаре, его свойством может быть уровень продукта, который измеряется уровнемером. Для этого резервуара в платформе в модели оборудования создается объект «резервуар» со свойством «уровень продукта», и все данные, поступающие с уровнемера, через привязку к тегу базы данных временных рядов (БДВР) становятся доступны из объектной модели. Далее доступ к текущим и архивным значениям осуществляется через объектную модель.
Структурированные данные проходят обработку аналитическими инструментами платформы. Например, расчетный модуль по собранным с уровнемера на резервуаре данным и градуировочной таблице может вычислить объём продукта в резервуаре, а далее по заданной методике его массу.
И, наконец, данные приводятся к необходимому потребителю виду и предоставляются в виде различных интерфейсов конечным пользователям или прикладным системам.
ZIIoT поддерживает любые решения на микросервисной платформенной архитектуре — их могут создавать как внутренние команды разработки, так и сторонние поставщики промышленных приложений. В настоящее время на платформу переводятся все основные продукты «Цифры» для различных отраслей. Компания находится в процессе формирования экосистемы платформы, в которую мы хотим объединить разработчиков решений, интеграторов, консультантов и операторов серверной и сетевой инфраструктуры. И это вырисовывает еще одну функцию цифровых промышленных платформ — они могут выступать связующим звеном между участниками рынка. Для партнеров — разработчиков (в том числе со стороны заказчиков) и интеграторов у нас предусмотрено обучение.
От теории к практике
В настоящее время у нас есть несколько внедрений платформы в машиностроении, металлургии, химпроме, нефтянке и горной добыче. В частности, она используется на Солнцевском угольном разрезе ВГК, где собирает данные со всех промышленных и ИТ-систем, а также техники, и на ее основе уже разрабатывается система прогнозной диагностики горного оборудования.
В машиностроении у нас есть проект, где на базе платформы реализовано AI-решение для предсказания успешности прохождения тестовых испытаний двигателей по первичным контрольным измерениям и многофакторный анализ причин полученных результатов испытаний. В озеро данных на платформу загружены исторические данные испытаний двигателей и в реальном времени поступают контрольные измерения всех узлов вместе с данными от испытательных стендов. Искусственный интеллект анализирует все контрольные измерения, на основе факторного анализа делает вывод о качестве сборки узлов будущих двигателей и сообщает вероятность успешности прохождения испытаний. На анализ факторов, определяющих неудачные испытания, уходит 20 минут вместо семи часов.
В нефтепереработке у нас был проект, где мы на платформе организовывали централизованный мониторинг загазованности. Конкретно, у предприятия есть ряд технологических установок, некоторые из которых осуществляют выбросы в окружающую среду. Величина этих выбросов законодательно регламентируется для защиты окружающей среды, и требуется непрерывный контроль и оперативное оповещение в ситуациях, когда уровень выбросов приближается к максимально допустимому, чтобы не допустить экологических последствий. Мониторинг работы установок до внедрения платформы выполнялся децентрализованно по каждой отдельной площадке, что усложняло обработку данных. С помощью платформы мы свели все данные с датчиков загазованности с этих установок в одно место, что ускоряет их обработку и передачу службам реагирования в случае отклонений. Благодаря этому время реагирования на ЧС сократилось на 30%, а вовлеченность персонала в процесс контроля загазованности уменьшилась на 90%, ложные срабатывания сократились на 20%.
По мере поступления новых кейсов, будем делиться, для решения каких задач платформу можно применять и с какими результатами. Если тема платформ для промышленности вам интересна, оставляйте вопросы в комментариях, а если очень интересна — присылайте резюме в наш HR.