Корпоративная инфраструктура сбора данных: основы и применение

Корпоративная инфраструктура сбора данных: основы и применение

Вот ещё несколько преимуществ, которые бизнес может получить, имея грамотно спроектированную систему DWH:

Оптимизация операций чтения . Зачастую БД, являющиеся источником данных для DWH, оптимизированы для равномерной поддержки всех операций CRUD (создание, чтение, обновление, удаление), поэтому чтение данных может быть не таким быстрым. DWH в свою очередь является системой типа «write-once, read-many», что означает преимущественное использование для работы аналитиков.

Обеспечение историчности данных . В зависимости от изначальных требований DWH может содержать всю историю данных. При этом аналитику, желающему получить отчёт с метриками за прошлые годы, не придётся беспокоиться о том, что при запуске отчёта не найдётся данных.

Согласованные правила именования таблиц . Многие имена таблиц и полей в БД приложений (особенно в старых продуктах ERP и CRM), носят странные неочевидные названия: например, таблица может называться tbl_123, а поле — SET_321. В DWH обычно применяются согласованные стандарты и правила именования объектов, предоставляющие пользователям контекст и удобство при поиске нужных данных.

Управление мастер-данными (MDM — Master Data Management). При сборе данных из нескольких источников часто приходится использовать MDM для удаления дублирующихся записей таких сущностей, как клиенты, продукты, поставщики и т.д. DWH выступает тем идеальным местом для создания MDM.

Улучшение качества данных за счет устранения проблем в источниках данных. В исходных источниках всегда найдутся ошибки. В DWH можно не только очищать данные, но и уведомлять ответственных за поддержку приложений о проблемах в их системах, чтобы те могли их исправить.

Связанные вопросы и ответы:

Что такое корпоративная инфраструктура сбора данных (EDGI), и почему она важна для бизнеса

Для задач прогнозирования и более глубокого анализа, помимо стандартной финансовой отчетности, важно понимать, какие данные, где лежат, как обрабатываются, что в себе хранят. Типичный случай для средней и крупной компании — обилие внутренних корпоративных систем: начиная от бухгалтерии и CRM, заканчивая внутренними или внешними сайтами и порталами, где тоже генерируются данные как от коллег внутри компании, так и от клиентов. 

На первый взгляд кажется, что эти данные представляют ценность только по отдельности, но, когда встает необходимость отследить количество выставленных счетов клиентам для каждого менеджера по продажам и определить процент выполнения воронки, внезапно появляется необходимость в связке данных из разных систем. А где их в итоге соединять и хранить?

Можно использовать промежуточное хранилище, но если данных много, а результирующих таблиц не меньше, чем исходных данных, — стоит задуматься о более эффективном подходе. Для этого используют такие концепции, как «озеро данных», «корпоративное хранилище данных», «витрины данных» — это напрямую связано с хранением информации. Обычно их отличают по двум параметрам: структурированность и скорость доступа. Кстати, последнее еще можно охарактеризовать длительностью хранения. 

Структурированные данные	Неструктурированные данные
Часто изменяются, актуализируются, доступ предоставляется как можно быстрее.	Хранятся дольше, запрашиваются редко, доступ к таким данным обычно медленный.
Такие данные называют горячими, лежат в «горячих» хранилищах — витринах данных.	Такие данные называют холодными, держат в «холодных» хранилищах — озерах данных.

Где-то посередине лежат «теплые» данные — некоторое промежуточное состояние актуальных данных, которые еще будут подвергаться анализу и дополнительной трансформации.

Какие ключевые компоненты составляют EDGI

В системе, которая управляется событиями, компоненты отвечают на изменения статуса кода, что минимизирует потребность в их непосредственной связи друг с другом. Такая архитектура более рациональна и обеспечивает высокую адаптируемость всей системы к изменяющейся среде. Обнаружение и обработка событий происходят в реальном времени.

В качестве типичного примера работы событийно-ориентированной архитектуры можно привести

Событийная архитектура состоит из ключевых компонентов:

• Продюсеры (производители). Это компоненты, отвечающие за отправку сообщений. Как только состояние изменяется либо происходит действие в системе, производитель отправляет данные об этом заинтересованной стороне. Продюсером может быть любое фактическое действие, влияющее на состояние кода.
• События. Это сообщения либо пакеты данных, фиксирующие изменения состояние или какое-либо действие внутри компонентов большой системы. В событиях содержатся метаданные, маркирующие источник изменения, метки времени, информация о действии. Например, если клиент в приложении сделал покупку, все данные об этом будут отражены в событии.
• Каналы. Все события доставляются до адресатов (потребителей) по специальным каналам. Первичные каналы событий — это TCP/IP-соединения или файлы различного формата (XML, JSON и т.д.). Возможно одновременное открытие сразу нескольких каналов. Поскольку читаются события асинхронно, их обработка происходит практически в реальном времени.
• Маршрутизатор. Этот компонент идентифицирует первичные события и действия, которые содержатся в сообщении. В ряде источников каналы и маршрутизаторы объединяют в компонент, который называется брокером — именно брокер запускает утверждения, которые становятся ответом на действие. При этом сам маршрутизатор не обрабатывает события, а лишь выдает соответствующие инструкции получателю.
• Потребители (получатели). Эти компоненты отвечают на сообщение соответствующим образом. Это может быть обновление данных, инициация новых процессов в приложении, вызов удаленных служб. Потребители — это наиболее автономные элементы архитектуры, выполняющие конкретные задачи. Уровень потребителей детализации варьируется от элементарного к сложнейшему в соответствии с особенностями ПО.

Какие основные вызовы возникают при внедрении EDGI в крупном предприятии

Часто для внедрения ESG в производство необходимо кардинально перестраивать бизнес или менять технологические процессы.

Необходимо сделать следующее:

1. Сформировать управленческий аппарат в соответствии с требованиями новых стандартов.
2. Назначить руководителей, которые будут отвечать за инновации, экологические перемены.
3. Оценить влияние предприятия на окружающую среду, произвести точные расчеты с использованием основных показателей.
4. Разработать меры, которые повысят экологичность производства в ближайшем будущем.
5. Внести изменения в социально-корпоративную политику.

Перенимайте опыт ведущих корпораций, анализируйте их отчеты. Посещайте деловые мероприятия, где обсуждают ESG-внедрение, корпоративное управление и другие важные вопросы. Адаптируйте под себя тенденции мирового рынка.

Сквозная аналитика Calltouch собирает данные о сделках с клиентами из CRM и информацию с рекламных площадок в наглядные отчеты. С их помощью вы построите полноценную воронку продаж от расходов на рекламу до окупаемости.

Сквозная аналитика

Оценивайте эффективность всех рекламных кампаний в одном окне от клика до ROI

Вкладывайте в ту рекламу, которая приводит клиентов

Подробнее

При внедрении ESG в деятельность вашей компании оцените:

• насколько ваша офисная политика соответствует новой концепции;
• рационально ли вы используете помещение, кабинеты, общие площади;
• по какому принципу вы организуете рабочие места;
• как вы заботитесь о сотрудниках.

В России разрабатывают нормативно-правовую базу ESG. Наряду с ГОСТ компании используют международные стандарты ISO. Минэкономразвития представило проект ФЗ о публичной, правовых основах ее раскрытия.

Также формируют IT-решения для экологического, социального и корпоративного управления. Предприятия создают собственные программы, с помощью которых отслеживают метрики E, S, G.

Как EDGI может улучшить процесс принятия решений в компании

Scrum, или «подход структуры» — метод на основе Agile, при котором работа над проектами разбивается на спринты — короткие, одинаковые по времени итерации. Команда тоже небольшая — до десяти человек. В нее входят разработчики, product owner (владелец продукта) и scrum-мастер. Product owner — куратор группы, который следит за тем, чтобы конечный продукт отвечал его целям и задачам. Scrum-мастер — человек, который отвечает за правильное применение scrum-метода: организует встречи и обмен сообщениями между всеми участниками. В процессе работы все участники ежедневно обсуждают каждое решение, планы и приоритеты, а также распределяют задачи.

Kanban , или «подход баланса» — метод, который нацелен на повышение качества сервиса: когда все усилия направлены на то, чтобы сделать продукт лучше и удобнее для пользователей, с помощью равномерного распределения задач между всеми участниками. Здесь команда представляет собой единой целое, без кураторов и неформальных лидеров. Процесс делится не на спринты, а на стадии проекта: планирование, разработка, тестирование, запуск. Главный показатель эффективности — максимально быстрое завершение каждого из этапов, без простоев и переработок. Если они все же возникают, команда совместно решает, как оптимизировать процесс.

В отличие от scrum, kanban:

• не предполагает следование agile-ценностям на 100% и фокуса на самоорганизации, но придерживается принципов клиентоориентированности, сотрудничества и прозрачности;
• применяется не только при разработке, но и при модернизации, поддержке и операционной деятельности;
• внедряется поэтапно и без существенных изменений в текущих процессах и инфраструктуре;
• подразумевает равномерное улучшение, а не только ускорение процессов;
• использует метрики, которые не подразумевают оценку трудоемкости задач.

В kanban принято визуализировать все детали процесса. Обычно это доска со стикерами, надписями или task-менеджер вроде Trello, где указаны все задачи, этапы и их статус. Часто задачи помечают разными цветами, чтобы обозначить, к какому этапу они относятся или на какой стадии исполнения находятся. Это помогает каждому участнику проекта видеть всю картину целиком, вовремя замечая, если что-то провисает или кому-то нужна помощь.

Пример доски Trello, созданной по принципам agile.

Если вы только подступаетесь к философии Agile и хотите попробовать отдельные элементы, проще начать с kanban. Небольшим стартапам и командам, которые только планируют запуск проекта, подойдет scrum.

Какие инструменты и технологии наиболее часто используются в EDGI

Ключевые слова

ВАЛОВОЙ ВНУТРЕННИЙ ПРОДУКТ / СТРАНЫ ЕАЭС / ЭЛЕКТРОННОЕ ПРАВИТЕЛЬСТВО / ОНЛАЙНОВЫЕ ГОСУДАРСТВЕННЫЕ СЕРВИСЫ / ЧЕЛОВЕЧЕСКИЙ КАПИТАЛ / ТЕЛЕКОММУНИКАЦИОННАЯ ИНФРАСТРУКТУРА / ИНДЕКС РАЗВИТИЯ ЭЛЕКТРОННОГО ПРАВИТЕЛЬСТВА

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Азоева О. В., Нурашева К. К., Шим Г. А.

Современные цифровые технологии стали важным фактором улучшения качества государственного управления предоставлением услуг правительственными органами и структурами и обеспечением устойчивого развития и экономического роста. Между уровнем цифровизации правительства и уровнем экономического развития страны существует определенная взаимосвязь. Масштаб и скорость внедрения цифровых технологий в значительной степени определяются уровнем развития экономики. В свою очередь, качество и объем предоставляемых государственных услуг позволяют более полно и эффективно использовать потенциал общества в интересах экономического развития страны и ее граждан. Статья посвящена анализу и выявлению характера связи между развитием электронного правительства и уровнем экономического развития в странах Евразийского экономического союза, а также оценке тесноты взаимной связи этих характеристик. В статье использованы методологические подходы и ключевые индикаторы, применяемые Организацией Объединенных Наций для оценки уровня развития информационного общества. Проведен сравнительный анализ индексов развития электронного правительства и валового внутреннего продукта на душу населения в странах Евразийского экономического союза с 2010 г. по 2020 г. Исследована динамика изменения и взаимосвязь этих показателей. Индекс развития электронного правительства рассматривается в разрезе его трех основных компонентов (субиндексов): уровня развития онлайновых государственных сервисов; уровня развития телекоммуникационной инфраструктуры; уровня развития человеческого капитала . На основании полученных результатов сформулированы выводы и рассмотрены перспективы дальнейшего изменения этих индикаторов в новых общественных и экономических условиях.

Как обеспечить безопасность данных в рамках корпоративной инфраструктуры сбора данных

Система информационной безопасности направлена на решение следующих задач:

• обеспечение конфиденциальности информации для пользователей разного уровня доступа;
• защита информации от уничтожения, несанкционированного копирования или изменения.

Обеспечить целостность данных в информационной системе организации позволяет создание многоуровневого защитного барьера.

Ограничение доступа к ресурсам обеспечивается следующими способами:

1. Физическая безопасность офиса. Для размещения рабочих станций и серверов компании должны быть выделены специальные помещения, запираемые на ключ, находящиеся под охраной и видеонаблюдением. Необходим контроль: за уничтожением корпоративных данных, сохранившихся на жестком диске, вышедшего из строя или морально устаревшего оборудования. Для посторонних лиц и неаттестованных сотрудников доступ к сетевым устройствам и оборудованию должен быть ограничен.

2. Межсетевой экран (файрвол или брандмауэр). Отвечает за фильтрацию сетевых пакетов в соответствии с заданным уровнем контроля доступа: разделяет сети, не позволяет пользователям нарушать установленные правила безопасности.

3. Виртуальные корпоративные сети (Virtual Private Network – VPN) благодаря использованию криптографических средств обеспечивают для пользователей безопасный канал доступа к информации компании из открытых сетей (Wi-Fi в местах общего пользования, домашние сети).

4. Системы обнаружения атак. Система обнаружения вторжений (Intrusion Detection System – IDS) – аппаратное или программное средство, выявляющее все случаи несанкционированного управления компьютерной сетью через Интернет или неавторизованного доступа к ней. Система предотвращения вторжений (Intrusion Prevention System – IPS) отслеживает и пресекает их в реальном времени.

5. Средства антивирусной защиты информации. Программное обеспечение, нацеленное на комплексную защиту от вредоносных программ компьютерных сетей и мобильных устройств. Параллельная установка нескольких антивирусных программ, использующих различные способы выявления вирусов, является наиболее эффективным решением.

6. Антиспам. Для фильтрации спама, присылаемого по электронной почте, используются специализированные сервисы и программное обеспечение, а также самописные решения специалистов информационно-технического отдела компании.

7. Создание «белых» и «черных» списков. Система безопасности руководствуется принципом допуска к работе только разрешенных программ из «белого» списка или по умолчанию осуществляет запуск любых приложений, если они не внесены в «черный» список.

8. Обновление ПО. Программы необходимо своевременно обновлять, чтобы поддерживать в актуальном состоянии. Как правило, разработчики в каждом обновлении устраняют уязвимости безопасности, выявленные в предыдущей версии. При наличии в компании квалифицированного системного администратора обновления ОС производятся централизованно в режиме удаленного доступа.

9. Независимый аудит корпоративной информационной безопасности. Осуществляется с привлечением специализированных организаций. Помогает выявить шпионское ПО, установленное дистанционно или локально.

10. Обучение руководства и сотрудников организации методам информационной безопасности , внедрение систем защиты информации: SIEM (Security Information and Event Management), обеспечивающей сбор и анализ внутрисетевой информации; DLP (Data Leak Prevention) – системы контроля сотрудников, позволяющая предотвратить утечку коммерческих данных.

11. Аутсорсинг информационной безопасности. Функции по обеспечению кибербезопасности компании выполняют на основании договора сотрудники другой организации, специализирующейся в области ИБ.

ИБ-аутсорсинг от «СёрчИнформ» – специалисты с опытом, надежная DLP и оперативные отчеты об инцидентах. Узнать подробнее.

Применение перечисленных способов защиты сети по отдельности не станет панацеей, но в комплексе они способствуют обеспечению информационной безопасности и помогают выстроить надежную защиту предприятия от внешних информационных угроз.

По расчетам специалистов, рынок движется в направлении экономии ресурсов: финансовых и «человекочасов». Поэтому у компаний будут востребованы разработчики ПО, способные обеспечить решение максимального количества задач одновременно. Программы будущего – это сложные междисциплинарные разработки, позволяющие не только регистрировать и отслеживать мошенничество, но и предотвращать его на основе понимания мотивов поведения человека.

Как интегрировать EDGI с существующими системами и приложениями

Существует несколько подходов к интеграции данных, которые вы можете использовать в зависимости от ваших конкретных требований, используемых технологий и желаемых результатов. Эти подходы ориентированы на различные источники данных, форматы и варианты использования.

1. Извлечение, преобразование, загрузка (ETL): ETL — это традиционный подход к интеграции данных, при котором данные извлекаются из исходных систем, преобразуются в общий формат, а затем загружаются в целевую базу данных или хранилище данных. Шаг преобразования обычно включает в себя очистку, преобразование и обогащение данных, чтобы сделать их пригодными для анализа.
2. Извлечение, загрузка, преобразование (ELT): ELT — это современная альтернатива ETL, которая инвертирует порядок шагов преобразования и загрузки. Этот подход сначала извлекает и загружает данные в целевую базу данных или хранилище данных. Затем преобразование происходит на месте с использованием современных технологий баз данных, которые превосходно справляются с задачами обработки данных. ELT, как правило, более эффективен и масштабируем, чем ETL, особенно при работе с большими объемами данных и сложными преобразованиями.
3. API данных: API данных (интерфейс прикладного программирования) — это набор правил и протоколов для создания и интеграции программных приложений. При интеграции данных API обеспечивают связь между различными программными системами, позволяя им эффективно передавать данные без ручного вмешательства. API-интерфейсы подключают веб-приложения к различным источникам данных, обеспечивая беспрепятственный обмен данными.
4. Методы потоковой передачи данных в реальном времени. Методы потоковой передачи данных в реальном времени направлены на обработку и интеграцию данных по мере их создания или передачи, обеспечивая практически мгновенный доступ к актуальной информации. Эти методы помогают преодолеть проблемы задержек и устаревших данных, которые могут возникнуть в процессах пакетной интеграции данных, таких как ETL и ELT. Примеры технологий потоковой передачи данных в реальном времени включают Apache Kafka, Apache Flink и Google Pub/Sub.

Может ли EDGI быть масштабирована для небольших предприятий, и если да, то как

Франчайзинг как способ масштабирования бизнеса подразумевает, что вы создаёте эффективную модель работы предприятия, а затем продаёте её другим организациям. Когда партнёры-франчайзи открывают точки под вашим брендом в разных уголках страны, бизнес выходит на совершенно новый уровень.

Популярность франчайзинга вполне объяснима: с его помощью человек может за определённую плату получить готовую схему развития предприятия, эффективность которой неоднократно подтверждена на практике. Не нужно будет бояться, что в силу неопытности или недостаточного понимания рынка он потеряет все свои вложения. Реализуя проверенную бизнес-модель и пользуясь поддержкой  франчайзера, начинающий предприниматель может быстро организовать работу нового офиса или торговой точки и выйти на стабильный уровень прибыли.

Франчайзинг выгоден для обеих сторон. Хотя владелец бренда и получает лишь процент от прибыли, продажа франшиз позволяет ему с невероятной скоростью расширять свой бизнес. Тот, кто приобретает бизнес-модель, тоже остаётся в плюсе: он получает готовый план развития, поддержку, снабжение и возможность за короткий срок и без особых рисков начать своё дело.

Продажа франшизы помогает не только увеличить площадь распространения бизнеса, но и укрепить положительный имидж бренда. За счёт открытия новых точек о вас будут узнавать, говорить и писать, а это для любой компании большой плюс.

Можно перечислить множество преимуществ франчайзинга как метода масштабирования. Вот наиболее значительные из них:

• Роялти.

Так называют плату за использование бизнес-модели, которая производится разово или регулярно (раз в месяц, квартал или год). По сути это финансовое вознаграждение за право пользоваться плодами вашего интеллектуального труда и тем имиджем, который уже успела наработать организация.

• Популярность бренда.

Помимо того, что франчайзи отдаёт партнёру небольшую часть прибыли, он ещё и выполняет функции рекламного агента. Присутствие вашей компании в разных городах при условии качественной работы коллег помогает раскрутить бренд.

• Выгодные условия работы.

Условия работы по франшизе можно устанавливать согласно своим желаниям и возможностям. К примеру, многие компании лично поставляют партнёрам товары, изготавливают для них рекламные материалы и так далее. Таким образом франчайзер может со временем выйти на новый рынок, получить достаточно опыта и начать продавать франшизы в других направлениях.

Как оценить эффективность внедренной EDGI

— Как искусственный интеллект повлияет на рынок труда?

— Генеративный искусственный интеллект способен создавать контент в различных форматах: текст, изображения, звук и т.д. Это уже серьезным образом влияет на работу маркетологов, дизайнеров, переводчиков, сотрудников call-центров. Все, что связано с обслуживанием клиентов, уже трансформируется под воздействием технологий ИИ. В будущем этот тренд будет только усиливаться.

— Какие профессии исчезнут, а какие появятся?

— Я думаю, что появятся такие профессии, как тренер искусственного интеллекта или толкователь ИИ. Они смогут объяснить, почему программа пришла к определенному решению, как именно происходил процесс генерации или предсказания, почему был получен именно такой результат. Вот это точно будет востребовано. Существующие профессии, такие как сценарист и режиссер, трансформируются, они будут работать, например, над тем, как сделать ИИ более человекоподобным, чтобы он правильно реагировал и имитировал эмоции.

Искусственный интеллект в сочетании с робототехникой в первую очередь заменит профессии, которые связаны с риском для жизни, тяжелыми и опасными условиями труда: шахтеров, водителей самосвалов и другие. Кроме того, исчезнут или сильно изменятся профессии, где много рутины. Например, секретарей и даже программистов.

ИИ не заменит ученых. У них появятся новые инструменты со встроенным искусственным интеллектом, которые ускорят процессы и этапы исследования, например сбор и обработку данных, проверку гипотез и даже их генерацию с помощью нейросетей. А самой профессии ученых ничего не грозит, потому что они создают нечто принципиально новое, чего раньше вообще не существовало. Такую работу искусственный интеллект заменить не сможет. Небольшим изменениям подвергнутся и руководители высшего звена в компаниях, которые занимаются вопросами стратегического целеполагания.

Я надеюсь, что искусственный интеллект не заменит профессию учителя. Я считаю, что людей должны учить и воспитывать люди. Но хотя, безусловно, ИИ будет большим помощником.

— На кого надо учиться сейчас, чтобы через 30–50 лет остаться востребованным?

— Мне кажется, так не получится. Нужно будет уметь перестраиваться и учиться всю жизнь. Как раньше — освоить в университете одну специальность, всю жизнь по ней работать и уйти на пенсию — больше не получится.

— Как изменятся требования к квалификации и навыкам специалистов в области искусственного интеллекта через 30 лет?

— Знания должны стать намного более глубокими и фундаментальными. Исполнительские функции будут заменены искусственным интеллектом, а человек должен понимать и уметь объяснить, как что устроено и функционирует изнутри. В последние годы в образовании преобладает тенденция обучения прикладным навыкам, поэтому многие даже не могут обосновать, почему что-то нужно делать так, а не иначе. В будущем, я надеюсь, в высших учебных заведениях будут учить думать глубоко.