Интеллектуальный анализ данных можно определить как процесс обнаружения новых и важных взаимосвязей, тенденций и закономерностей путем изучения больших объемов данных.
Наличие большого количества доступной информации, а также использование различных компьютерных инструментов привело к анализу данных с применением различных специализированных методов, основанных на том, что известно как интеллектуальный анализ данных или интеллектуальный анализ данных.
Методы, используемые при интеллектуальном анализе данных, нацелены на автоматическое обнаружение знаний, которые хранятся упорядоченным образом в информации, содержащейся в большой базе данных. Основная цель - найти закономерности, профили и тенденции путем анализа данных с использованием технологий, позволяющих распознавать закономерности, нейронные сети, нечеткую логику, генетические алгоритмы и многие другие передовые методы анализа данных.
Сегодня интеллектуальный анализ данных используется во многих областях науки, на финансовом и банковском уровне, при анализе рынков и бизнеса, в области как общественного, так и частного здравоохранения, на уровне образования, в производственных процессах, в медицина, биология и биоинженерия, а также телекоммуникации и другие области. (Перес Лопес и Сантин Гонсалес, 2007)
В этой статье вы рассмотрите концепцию интеллектуального анализа данных, ее применение и важность для принятия решений в организациях.
Что такое интеллектуальный анализ данных?
Под интеллектуальным анализом данных понимается группа методов, используемых для извлечения и получения достоверной, подробной и очень полезной информации, содержащейся в различных базах данных. Он очень полезен для принятия решений, поскольку помогает прогнозировать будущие тенденции и поведение, что делает его мощным инструментом для организаций.
Data Mining или Data Mining, как это известно на английском языке, относится к процедурам, используемым в горнодобывающей промышленности для извлечения полезных ископаемых из земли путем взрыва, который заставляет их подниматься на поверхность. Следуя той же технике, интеллектуальный анализ данных взрывает базы данных, чтобы извлечь из них скрытую информацию.
Используя различные алгоритмические инструменты и методы, интеллектуальный анализ данных ищет скрытые шаблоны, представляющие интерес, в базах данных, чтобы предвидеть будущее и прогнозировать ситуации с определенной степенью вероятности. Таким образом, можно найти предсказуемую информацию, которую не легко найти любому, независимо от того, насколько эксперт. Интеллектуальный анализ данных может быть реализован на любой аппаратной и программной платформе и может быть интегрирован в интерактивные информационные системы. (Рейноса и Мальдонадо, 2012 г.)
История интеллектуального анализа данных
Интеллектуальный анализ данных не является чем-то новым, он происходит с шестидесятых годов, когда статистики использовали термины «ловля данных», «интеллектуальный анализ данных» или «археология данных»; Позже, в восьмидесятых, люди начали говорить о термине KDD, который в переводе с английского означает процесс извлечения знаний из данных, частью которого является интеллектуальный анализ данных. С этого года было создано несколько компаний, занимающихся предоставлением услуг, связанных с интеллектуальным анализом данных, и постепенно появилось много других; На данный момент существует более ста компаний, занимающихся интеллектуальным анализом данных. (Феликс, 2002)
Существует хорошо известная история успеха внедрения интеллектуального анализа данных 1992 года, рассказанная сотрудником корпорации NCR, который провел исследование для Osco Drugs of American Stores. В результате этого исследования было замечено, что с 5 до 7 часов ночи покупка двух предметов, которые не были связаны друг с другом, но которые носили в одно и то же время, происходили чаще: подгузники и пиво. Затем был сделан вывод о том, что многие родители, которых отправили покупать подгузники в то время, также в конечном итоге носили банки с пивом - ситуация, которая использовалась магазином, чтобы поставить холодильник с пивом рядом с дисплеем подгузников, чтобы улучшить указанную покупку. по выбору или импульсивно.Это пример неожиданных результатов, которые можно найти при использовании интеллектуального анализа данных, и решений, которые ваша организация может принять на основе этих открытий. Очень важно, чтобы организация была гибкой для использования полученных результатов, поэтому интеллектуальный анализ данных сам по себе бесполезен, если он не используется должным образом. (Рейноса и Мальдонадо, 2012 г.)
Бизнес-аналитика
Интеллектуальный анализ данных берет свое начало в информационных системах, целью которых был сбор информации по определенной теме для принятия решений. С появлением нового программного и аппаратного обеспечения организации компьютеризированы, и информационные системы начали поддерживать основные процессы компании, такие как продажи, производство, человеческие ресурсы и другие, которые называются информационными системами для управления., Со временем и после того, как компаниям понадобится база, которая поможет им принимать решения; Появились инструменты, отвечающие этим потребностям, называемые DSS (система поддержки принятия решений), такие как EIS и OLAP, а также различные технические инструменты интеллектуального анализа данных.
EIS (Исполнительные информационные системы) - это набор инструментов и информационных систем, которые позволяют руководству компании иметь доступ к статусу деятельности и управлению ею. Они позволяют немедленно сообщать о любых изменениях, происходящих в компании, для этого он анализирует ежедневное состояние организации с помощью ключевых показателей. Обычно запрашиваемая информация - это еженедельные продажи, частичные остатки и уровень запасов, и в то же время она представлена в виде графиков в электронных таблицах. (Перес Лопес и Сантин Гонсалес, 2007)
OLAP (оперативная аналитическая обработка) упрощает обработку и преобразование данных для получения новых данных. Цель OLAP - упростить запрос больших объемов данных.
Инструменты интеллектуального анализа данных нацелены на извлечение закономерностей и тенденций для прогнозирования будущего поведения. Интеллектуальный анализ данных анализирует данные, в то время как OLAP и EIS облегчают доступ к информации, чтобы можно было проводить более эффективный анализ, что означает, что они поддерживают интеллектуальный анализ данных.
Использование каждого инструмента будет зависеть от цели организации, для этого нужно начинать с основного вопроса, как мы можем видеть в следующей таблице: (Брага, Валенсия и Карвахаль, 2009 г.)
Для того, чтобы вышеупомянутые системы работали, необходимо, чтобы было хранилище данных или хранилище, которое представляет собой набор внутренних или внешних исторических данных, описывающих контекст или область исследования, ориентированную на домен, который позволяет применять инструменты для для описания, обобщения и анализа данных для помощи в принятии решений.
Для загрузки или передачи данных используется система ETL (извлечение, преобразование, загрузка), которая отвечает за чтение данных, включение новых данных, создание ключей и т. Д. На следующем изображении объясняется, как работают эти системы.
Методы интеллектуального анализа данных
Методы интеллектуального анализа данных подразделяются на прогнозные, описательные и вспомогательные, и они организованы так, как показано на следующем изображении.
Как создать модель интеллектуального анализа данных?
Чтобы применить интеллектуальный анализ данных, вы можете выполнить следующие шесть шагов:
- Определение проблемы Подготовка данных Исследование данных Создание моделей Исследование и проверка моделей Внедрение и обновление моделей
На следующем рисунке вы можете увидеть эти шаги.
Как видно, это циклический процесс, а это означает, что если найденных данных недостаточно для создания модели, или модели не подходят для предлагаемых целей. Затем необходимо повторить те же шаги, чтобы создать новую модель.
Определите проблему
Первое, что нужно сделать для создания модели интеллектуального анализа данных, - это определить проблему и подумать, как данные могут быть использованы для ее решения.
На этом этапе анализируются бизнес-требования, определяется масштаб проблемы, способ, которым будет оцениваться модель, а также устанавливаются конкретные цели проекта интеллектуального анализа данных. Для этого можно задать следующие вопросы:
- Что вы ищете? Какие виды отношений вы пытаетесь найти? Отражает ли проблема решение проблемы, которую пытаются решить политики? Что вы хотите сделать с помощью модели интеллектуального анализа данных? Прогнозы, поиск интересных закономерностей или ассоциаций? Какой результат вы хотите предсказать? Какие данные у вас есть и какой тип информации содержится в каждом столбце? Если есть таблицы, как они связаны? Нужно ли перед использованием очищать, агрегировать или обрабатывать данные? Как они распределяются? Являются ли они сезонными и точно отражают процессы компании?
Подготовьте данные
Следующим шагом является консолидация и очистка данных, определенных на предыдущем шаге. Эти данные могут иметь несоответствия или быть широко разрозненными, например, что покупатель купил продукт до того, как он поступил на рынок, или что он покупает в магазине, расположенном в 20 000 км от его дома.
Эта очистка касается не только удаления недействительных данных, но и поиска корреляций, которые скрыты в данных, определения источника данных, который является наиболее точным, и определения столбцов, которые лучше всего подходят для анализа.
Изучите данные
Вы должны знать данные, чтобы принять наилучшее решение при создании моделей интеллектуального анализа данных, для этого вы должны использовать такие методы исследования, как вычисление минимальных и максимальных значений, вычисление среднего и стандартного отклонения и изучение распределение данных.
Создавать модели
На четвертом этапе интеллектуального анализа данных создается модель с использованием знаний, полученных при исследовании данных, для этого необходимо определить, какие столбцы данных будут использоваться для создания структуры. интеллектуального анализа данных.
Изучите и проверьте модели
Следующим шагом в процессе интеллектуального анализа данных является изучение ранее полученных моделей и проверка их эффективности перед развертыванием. Путем тестирования моделей вы можете увидеть, какая из них предлагает лучшие результаты для изначально поставленной задачи.
Если ни одна из созданных моделей не работает, вернитесь к предыдущим шагам, чтобы либо переосмыслить проблему, либо повторно исследовать данные из исходного набора.
Разверните и обновите модели
Наконец, необходимо внедрить модели, которые лучше всего работают в производственной среде, которые могут выполнять различные задачи в соответствии с потребностями компании.
Среди задач, которые может выполнять модель:
- Делать прогнозы, которые впоследствии могут использоваться для принятия бизнес-решений. Создавать запросы контента для извлечения правил, формул и статистики из модели. Встраивать функциональные возможности модели в приложение (Microsoft, 2014).
Приложение для интеллектуального анализа данных
В настоящее время интеллектуальный анализ данных может использоваться в различных областях, в том числе:
- Проведите финансовый анализ: он применяется в банковском или финансовом секторе, и все, что требуется, - это предоставить данные, с помощью которых можно провести надежный систематический анализ. С его помощью можно прогнозировать выплаты по кредитам, анализировать кредитную политику клиентов, классифицировать и группировать клиентов для создания специализированных предложений и выявления возможных мошенничества и финансовых преступлений. В розничном секторе: магазины, специализирующиеся на этом виде деятельности, собирают ежедневные много информации из продаж, истории покупок и грузовых перевозок. С помощью этих данных можно делать прогнозы, которые позволят магазинам предлагать лучший сервис и облегчить их удержание. Интеллектуальный анализ данных в этих случаях может:
- Анализ продаж, клиентов, продуктов, времени и региона Анализируйте эффективность торговых кампаний Персонализированно рекомендуйте продукты
Что такое интеллектуальный анализ текста?
Интеллектуальный анализ текста - это определение местоположения, анализ и организация информации для создания новой информации, которую нельзя четко увидеть при просмотре документов. Полученная новая информация может быть шаблоном, тенденцией или корреляцией, которую нельзя идентифицировать только путем чтения документов, которые могут быть интернет-страницами, сообщениями электронной почты, полем в базах данных или текстовым файлом без какого-либо формата.
Анализ текста или интеллектуальный анализ текста включает три основных действия, а именно:
- Получение информации: выберите подходящие тексты. Извлеките информацию, содержащуюся в этих текстах: ключевые данные, факты и события. Используйте интеллектуальный анализ данных, чтобы найти связи между этими ключевыми текстами (galeon.com, 2016)
Как выполняется интеллектуальный анализ текста?
Для реализации интеллектуального анализа данных можно выполнить следующие четыре этапа:
Первый этап: цели устанавливаются для того, чтобы прояснить, что требуется в расследовании, и для того, чтобы установить пределы и пределы того, в какой степени желательно углубить.
Второй этап: обработка данных путем выбора, анализа и сокращения текстов или документов, из которых будет извлечена информация. Это этап, на который уходит больше всего времени
Третий этап: укажите, какая модель или методика будет использоваться, это будет зависеть от поставленных целей и задач, которые необходимо выполнить.
Четвертый этап: результаты анализируются, чтобы использовать полученную информацию для принятия решений, наиболее подходящих для организации. (galeon.com, 2016)
Приложение для интеллектуального анализа текста
- Для извлечения информации: его можно использовать для извлечения информации из больших объемов текста, найденного в Интернете, что позволяет определять сущности и их взаимосвязи, раскрывать важную информацию и облегчать понимание данных. Классификация документов: позволяет извлекать и перемещаться по документы, особенно в компаниях, которые ведут исторический учет своей деятельности и проектов в документах. Для этого применяются алгоритмы интеллектуального анализа текста, которые группируют документы и получают описательную информацию от каждой из каждой группы, чтобы лучше понять их. Подготовка резюме: можно получить общее описание набора документов. по конкретной теме.В этом смысле эти методы можно разделить на две категории: экстрактивное реферирование и абстрактное реферирование Извлечение знаний: с помощью интеллектуального анализа текста можно создавать модели знаний из информации, извлеченной из документов.
Что такое анализ настроений или мнений?
Анализ мнений или настроений можно определить как применение ряда методов обработки естественного языка, компьютерной лингвистики и интеллектуального анализа текста, целью которых является извлечение субъективной информации из информации, публикуемой людьми в блогах или обзорах продукты онлайн. Из этого анализа можно получить важную информацию, как положительную, так и отрицательную.
При изучении мнений или чувств применяется интеллектуальный анализ текста, который может выполняться двумя способами:
- Обнаружение полярности: его цель - установить, является ли мнение отрицательным или положительным, и в то же время попытаться получить числовое значение в пределах установленного диапазона, чтобы получить рейтинг, связанный с определенным мнением. Анализ настроений на основе характеристик: его цель уметь установить, каковы характеристики продукта, на основе обзора или мнения пользователей, и с каждой из этих характеристик получить полярность. (Brainsins, 2015)
вывод
Анализ данных, текста и настроений предоставляет очень полезные инструменты для анализа данных и текстов, которые в то же время позволяют выявлять модели поведения, которые помогают принимать решения. Существует множество применений, которые можно использовать для анализа данных, текста и настроений, но каждая организация должна определить, какой тип техники использовать, исходя из первоначального подхода к проблеме.
Библиография
- Брага, LP, Валенсия, LI, и Карвахаль, SS (2009). Введение в интеллектуальный анализ данных. Сан-Пабло: Национальный союз издателей Brainsins. (2015). Получено с: http://www.brainsins.com/es/blog/mineriaopiniones/3555Cesar Perez Lopez, DS (2007). Интеллектуальный анализ данных: методы и инструменты. Мадрид: International Thompson Ediciones Paraninfo saEnrique Jose Reinosa, CA (2012). База данных. Мексика: Allfaomega.galeon.com. (02 из 04 2016). Galeon.com. Получено с: http://textmining.galeon.com/Lantares. (2014). Получено с http://www.lantares.com/blog/mineria-de-datosaplicaciones-que-ya-son-una-realidadMicrosoft. (2014). Получено из: https://msdn.microsoft.com/esmx/library/ms174949%28v=sql.120%29.aspx Перес Лопес, К., и Сантин Гонсалес, Д. (2007). Интеллектуальный анализ данных: методы и инструменты. Мадрид:Thomson International Editions Паранинфо.
Спасибо
Благодарим Технологический институт Орисабы за предоставленную мне возможность профессионально обучаться и профессора Фернандо Агирре-и-Эрнандеса за все знания, которыми он поделился с нами по своему предмету «Основы административной инженерии», чтобы научиться и совершенствовать свои навыки для написания качественных научных статей.
Изображение взято из книги Введение в интеллектуальный анализ данных Луиса Пабло Виейра Брага и других. 2009
Изображение взято из книги Сезара Переса Лопеса и Даниэля Сантина Гонсалеса «Интеллектуальный анализ данных: методы и инструменты»
Изображение взято из книги Сезара Переса Лопеса и Даниэля Сантина Гонсалеса «Интеллектуальный анализ данных: методы и инструменты»
Скачать оригинальный файл
