Информация генерируется в огромных количествах и со скандальной скоростью, с появлением ИКТ информация практически идет дождем, достигает компьютеров и серверов компаний со всего мира, а из-за емкости хранилищ в настоящее время Информация может потеряться в море данных, но не все эти данные полезны для организаций.
Поэтому для того, чтобы лучше обрабатывать хранимую и поступающую информацию, необходимо использовать инструменты, которые помогают в поиске информации, но не только в этом, также необходимо иметь инструменты, позволяющие иметь четкую и точную информацию для получения лучшая производительность с полученными данными.
Интеллектуальный анализ данных - это инструмент, который помогает выполнять эти задачи, чтобы использовать информацию, которая была сохранена, однако его использование не является чем-то, что все организации знают или делают, поскольку существуют другие инструменты, такие как большие данные, которые выполняют аналогичные задачи. однако у каждого есть свои особенности.
В этой статье мы увидим, как интеллектуальный анализ данных стал очень полезным инструментом для повышения производительности компаний, и таким же образом мы увидим, как он может взаимодействовать с другими инструментами, преимущества использования интеллектуального анализа данных и его особенности.
Определения.
Согласно (wikipedia.org, 2018) интеллектуальный анализ данных означает следующее:
Он использует методы искусственного интеллекта, машинного обучения, статистики и систем баз данных. Общая цель процесса интеллектуального анализа данных - извлечь информацию из набора данных и преобразовать ее в понятную структуру для дальнейшего использования. В дополнение к этапу необработанного анализа он включает аспекты управления данными и базами данных, обработка данных, рассмотрение моделей и логических выводов, показатели интереса, соображения теории вычислительной сложности, пост-обработка обнаруженных структур, визуализация и онлайн-обновление.
Другое определение, данное (Marqués, 2014), говорит нам, что интеллектуальный анализ данных:
Интеллектуальный анализ данных - это процесс обнаружения полезной информации из больших наборов данных. Используйте математический анализ для выявления закономерностей и тенденций, существующих в данных. Как правило, эти закономерности не могут быть обнаружены традиционным исследованием данных из-за слишком сложной взаимосвязи или из-за слишком большого количества данных.
Эти закономерности и тенденции можно собрать и определить как модель интеллектуального анализа данных. Модели интеллектуального анализа данных можно применять в следующих сценариях:
- Прогнозирование: расчет продаж и прогнозирование нагрузки на серверы или простоя сервера Риск и вероятность: выбор лучших клиентов для прямой рассылки по почте, определение вероятной точки безубыточности для сценариев риска и присвоение вероятностей диагнозам и другим результатам. Рекомендации: определение продуктов, которые можно продавать вместе, и выработка рекомендаций Поиск по последовательности: анализ товаров, которые покупатели поместили в корзину, и прогноз возможных событий. Группировка: распределение клиентов или событий по группам связанных элементов, а также анализ и прогноз сходства. (microsoft.com, 2018)
Основные этапы интеллектуального анализа данных.
Говорят, что интеллектуальный анализ данных - это набор методов и технологий, которые позволяют исследовать большие базы данных, чтобы найти закономерности, которые могут предоставить нам ценную информацию для принятия решений в будущем. Процесс интеллектуального анализа данных обычно состоит из четырех основных этапов:
- Определение целей Обработка данных Определение модели Анализ результатов
Первый шаг касается типа информации, которую клиент хочет извлечь из базы данных. Второй этап требует дополнительной работы, поскольку он должен выбрать, очистить, обогатить, уменьшить и преобразовать базу данных, которую нам предоставил клиент. После того, как мы обработали его и он был готов реализовать алгоритм искусственного интеллекта, мы должны выбрать, какой алгоритм даст нам лучшие результаты.
Выбор оптимального алгоритма для конкретной аналитической задачи является сложной задачей и зависит от решаемой проблемы. В интеллектуальном анализе данных существует пять основных проблем: классификация, регрессия, сегментация, ассоциация и анализ последовательности.
Для решения этих задач существует множество алгоритмов, основными из которых являются: ассоциация, кластеры, дерево решений, линейная регрессия, наивный байесовский классификатор, нейронная сеть, кластеры последовательностей и серий. временный характер.
Наконец, последний шаг - проанализировать результаты. В настоящее время эта работа ведется во многих областях бизнеса, таких как безопасность данных, финансы, здравоохранение, маркетинг, обнаружение мошенничества, онлайн-поиск, обработка естественного языка или новые умные автомобили. (veryinteresting.es)
Интеграция интеллектуального анализа данных и больших данных.
Data Mining состоит из набора методов извлечения информации, а большие данные - это технология, способная собирать, управлять и обрабатывать эти данные в разумные сроки и правдивым образом. Для интеллектуального анализа данных необходимы большие данные для оптимизации обработки данных и управления ими, и в то же время для больших данных требуется интеллектуальный анализ данных для прогнозного анализа данных и выявления тенденций. Можно сказать, что между техникой и инструментом существует взаимная интеграция.
Технология больших данных позволяет быстро и точно собирать, хранить, управлять и обрабатывать большие объемы данных, используя их преимущества.
По сути, он фокусируется на прогнозном анализе и обнаружении тенденций с использованием различных методов, включая интеллектуальный анализ данных. За счет определения моделей и использования различных технологий цель состоит в том, чтобы превратить данные в очень ценный актив.
Используя эту технологию, мы можем идентифицировать общие закономерности, которые можно использовать для поиска новых рыночных ниш, определения ключевых характеристик текущих или будущих клиентов, создания параметров, показателей или процессов.
Он заключается в изменении способа ведения бизнеса, во многих случаях повышающем прибыльность и производительность компаний.
Data Mining универсален, и так же, как его можно использовать для проведения обычного анализа, он является хорошим ресурсом для извлечения ценности из больших данных. Комбинация этих двух инструментов делает оба инструмента еще более перспективными. (Балагеро, 2017)
Примеры применения интеллектуального анализа данных и больших данных.
Поскольку большие данные и интеллектуальный анализ данных имеют разные функции и, следовательно, применяются в разных контекстах, мы увидим несколько примеров их области применения.
Waltt Disney использовал большие данные для анализа маршрутов своих клиентов и улучшения их опыта в режиме реального времени, что позволило лучше понять пользователей или потребителей.
Data Mining анализирует информацию, чтобы обнаружить и обнаружить подозрительные модели поведения. Это может быть применимо при поиске моделей преступного поведения, анализе моделей поведения, связанных с мошенничеством или мошенничеством, в банковских или микробиологических исследованиях для установления моделей поведения среди бактерий. (Балагеро, 2017)
Цикл интеллектуального анализа данных
- Пользователи информации должны определить бизнес-проблемы и области, в которых данные могут повысить ценность компании. Точно так же важно определить области, в которых информация очень изменчива, но важна для конкурентоспособности компании. Для этого можно обрабатывать различные критерии, и нет конкретных, которые можно было бы назвать правильными. Цель состоит в том, чтобы определить критерии, идеи, нормы и вопросы, которые будут служить входными данными для процесса интеллектуального анализа данных.Для анализа исторической информации пользователь выберет соответствующий алгоритм или алгоритмы интеллектуального анализа. Впоследствии эти алгоритмы переводятся в программы интеллектуального анализа данных, которые будут выполнять поиск по ранее определенным критериям.Включите информацию, полученную в процессе интеллектуального анализа данных, в процесс принятия решений; а также представить полученные результаты лицам, ответственным за операции, чтобы полученную информацию можно было интегрировать в процессы компании и использовать при решении проблем. Измерение результатов: Измерение ценности полученных результатов, которые предоставляются лицу, принимающему решение относительно решения выявленных проблем и критериев, определенных в первом пункте.которые предоставляются лицу, принимающему решения, в отношении решения выявленных проблем и критериев, определенных в первом пункте.которые предоставляются лицу, принимающему решения, в отношении решения выявленных проблем и критериев, определенных в первом пункте.(Лагунес, 2016).
Текстовый анализ
Анализ текста - это новая развивающаяся область, которая пытается извлечь значимую информацию из естественного текста языка. В широком смысле его можно охарактеризовать как процесс анализа текста для извлечения информации, полезной для определенных целей. По сравнению с типом данных, хранящихся в базах данных, текст структурирован, аморфен и сложен для алгоритмической обработки. Однако в современной культуре текст является наиболее распространенным средством формального обмена информацией. Области интеллектуального анализа текста обычно имеют дело с текстами, функция которых заключается в передаче фактов, информации или мнений, и мотивация попытаться автоматически извлечь информацию из указанного текста убедительна, даже если успех является лишь частичным., Фраза «интеллектуальный анализ текста» обычно используется для обозначения любой системы, которая анализирует большие объемы текста и естественного языка и выявляет лексические или лингвистические шаблоны использования в попытке извлечь полезную информацию. (Рамирес, 2016)
Преимущества использования интеллектуального анализа данных перед другими методами управления информацией.
- Интеллектуальный анализ данных возникает из-за необходимости управлять информацией, содержащейся в базах данных организаций, эта процедура имеет ряд преимуществ по сравнению с другими процессами, которые используются для управления информацией, такими как: Анализ данных обеспечивает бизнес-лидеры набор взаимоотношений и знаний, о существовании которых в организации во многих случаях не было известно, интеллектуальный анализ данных помогает компаниям выбирать маршруты, по которым они пойдут на путь развития компаний, а также добиваться преимуществ конкурировать со своими рыночными конкурентами, поскольку с помощью интеллектуального анализа данных будет известна информация, которую знает исключительно только компания.Мы, люди, способны обнаруживать закономерности и аномалии, так сказать, поверхностным образом, поэтому с помощью интеллектуального анализа данных можно будет лучше воспринимать закономерности, которые трудно обнаружить невооруженным глазом. простая оценка.(Франко, 2016)
Data Mining и другие дисциплины.
Есть определенные границы между интеллектуальным анализом данных и аналогичными дисциплинами, такими как статистика, искусственный интеллект и т. Д. Некоторые утверждают, что интеллектуальный анализ данных - это не что иное, как статистика, завернутая в деловой жаргон, которая превращает ее в продаваемый продукт. Другие, с другой стороны, находят в нем ряд конкретных проблем и методов, которые отличают его от других дисциплин.
Дело в том, что на практике все модели и алгоритмы, обычно используемые в интеллектуальном анализе данных - нейронные сети, деревья регрессии и классификации, логистические модели, анализ главных компонентов и т. Д. - имеют относительно давнюю традицию в другие поля. (wikipedia.org, 2018)
Из статистики.
Конечно, интеллектуальный анализ данных питается статистикой, из которой он берет следующие методы:
- Дисперсионный анализ, с помощью которого оценивается наличие значительных различий между средними значениями одной или нескольких непрерывных переменных в разных популяциях. Регрессия: определяет взаимосвязь между одной или несколькими переменными и набором прогнозных переменных первых. Хи-тест. квадрат: с помощью которого проверяется гипотеза о зависимости между переменными. Кластерный анализ: позволяет классифицировать популяцию лиц, характеризующихся множеством атрибутов (бинарными, качественными или количественными), в определенное количество групп., основанный на сходстве или различии индивидов Дискриминантный анализ: позволяет классифицировать индивидов в группы, которые были установлены ранее, позволяет найти правило классификации элементов этих групп,и, следовательно, более точная идентификация переменных, которые определяют членство в группе. Временные ряды: позволяют изучать эволюцию переменной во времени, чтобы делать прогнозы на основе этих знаний и в предположении что структурных изменений не будет.(wikipedia.org, 2018)
Вычислений.
Из вычислений он использует следующие методы:
- Генетические алгоритмы: это методы численной оптимизации, в которых переменная или переменные, которые должны быть оптимизированы, вместе с переменными исследования составляют сегмент информации. Те конфигурации переменных анализа, которые получают лучшие значения для переменной ответа, будут соответствовать сегментам с большей репродуктивной способностью. Благодаря воспроизводству лучшие сегменты выживают, и их доля растет от поколения к поколению. Вы также можете ввести случайные элементы для изменения переменных (мутации). После определенного количества итераций популяция будет состоять из хороших решений проблемы оптимизации, поскольку плохие решения были отброшены, итерация за итерацией. Искусственный интеллект:Имеющиеся данные анализируются с помощью компьютерной системы, моделирующей интеллектуальную систему. Среди систем искусственного интеллекта можно выделить экспертные системы и нейронные сети Экспертные системы: это системы, которые были созданы на основе практических правил, извлеченных из знаний экспертов. В основном основаны на выводах или причинно-следственных связях. Интеллектуальные системы: они похожи на экспертные системы, но с большим преимуществом в новых ситуациях, неизвестных эксперту. Нейронные сети: как правило, это методы параллельных численных процессов, в которых переменные взаимодействуют посредством линейных или нелинейных преобразований до получения выходных данных. Эти выходные данные сравниваются с теми, которые должны были остаться, на основе данных испытаний,вызывая процесс обратной связи, посредством которого сеть реконфигурируется, пока не будет получена подходящая модель.(wikipedia.org, 2018)
С помощью интеллектуального анализа данных вы можете запрашивать данные намного сложнее, чем при использовании обычных методов запроса. Информационный интеллектуальный анализ может значительно повысить качество и надежность принятия бизнес-решений.
Например, обычные методы могут сказать банку, какой тип банковского счета он предоставляет наиболее прибыльный. Вместо этого интеллектуальный анализ данных позволяет банку создавать профили клиентов, у которых уже есть этот тип учетной записи. Затем банк может использовать интеллектуальный анализ данных, чтобы найти других клиентов, которые соответствуют этому профилю, и, таким образом, иметь возможность запустить маркетинговую кампанию, специально ориентированную на этих клиентов.
Интеллектуальный анализ данных может выявить закономерности в данных компании, например, в записях о покупках в супермаркете. Если, например, клиенты покупают продукты A и B, какой продукт C они, скорее всего, также купят? Точные ответы на подобные вопросы - неоценимая помощь в разработке бизнес-стратегий.
Интеллектуальный анализ данных может определить характеристики известной группы клиентов, например клиентов с плохой кредитной историей. Затем компания может использовать эти характеристики, чтобы выбрать новых клиентов и предсказать, будет ли у них плохая кредитоспособность. Инструменты интеллектуального анализа данных упрощают и автоматизируют обнаружение такого рода информации в больших базах данных. (ibm.com)
Вывод.
Информация стала важным активом для компаний, недавно Facebook столкнулся с очень серьезной проблемой, возникшей из-за неправильного управления информацией своих пользователей, как в случае с Cambridge analytica, поскольку она позволила этой компании обрабатывать пользовательские данные - все с целью улучшения предвыборной кампании тогдашнего кандидата Дональда Трампа.
Эта серьезная проблема привела к тому, что тот же владелец компании (facebook) Марк Цукерберг вынужден был объявить перед конгрессом США, почему он допустил такую вещь, он хочет сослаться на то, что информация, которая генерируется сегодня он имеет большую ценность, он имеет большой вес, потому что с приходом ИТЦ организации бомбардируются информацией.
Сегодня генерируется так много информации, что пришлось разработать искусственный интеллект, способный обрабатывать ее, были созданы нейронные сети, которые могут обрабатывать более сложным и эффективным способом информацию, которая генерируется, например, в Google или youtube, поскольку число его пользователей превышает миллиарды.
Несомненно, интеллектуальный анализ данных стал поддерживать часть веса, который генерирует информация, однако мы всегда должны быть осторожны, как обрабатывается информация и кому мы позволяем ее обрабатывать.
Дипломная работа.
Заключать соглашения с компаниями, специализирующимися на интеллектуальном анализе данных, с целью вовлечения в них студентов.
Общая цель.
Студенты должны выполнять проекты или работы, связанные с управлением интеллектуальным анализом данных, и углубляться в эту тему, чтобы быть более подготовленными.
Спасибо.
Я благодарю мою мать, которая имеет силу продолжать каждый день и которая заставила меня достичь того, что я есть, моих учителей, которые уделили мне свое время и свои знания для продолжения учебы, доктора Фернандо Агирре и Эрнандеса с тех пор Он передал нам весь свой опыт и знания в области основ административной инженерии, а также передал CONACYT, поскольку он оказывает нам свою поддержку, чтобы мотивировать нас двигаться вперед в нашем приключении к мастерству.
Библиография.
Балагеро, Т. (1 ноября 2017 г.).
Получено 26 мая 2018 г. с https://www.deustoformacion.com:
Франко, LG (6 апреля 2016 г.). https://www.gestiopolis.com. Получено 26 мая 2018 г. с
www.gestiopolis.com/mineria-datos-textos/
ibm.com. (SF). https://www.ibm.com. Получено 26 мая 2018 г. с https://www.ibm.com: https://www.ibm.com/support/knowledgecenter/es/SSEPGG_10.5.0/com.ibm.im.ov erview.doc / c_dm_goals.html
Лагунес, XA (2 июня 2016 г.). https://www.gestiopolis.com. Восстановлено
26 мая 2018 г., с сайта
www.gestiopolis.com/mineria-datos-informacion/
Маркес, П. (2014). ДОБАВЛЕНИЕ ДАННЫХ НА ПРИМЕРАХ. Испания:
- Книги.
microsoft.com. (1 мая 2018 г.). https://docs.microsoft.com. Получено 26 мая 2018 г. с https://docs.microsoft.com: https://docs.microsoft.com/eses/sql/analysis-services/data-mining/data-mining-concepts?view=sql. -analysisservices-2017
veryinteresante.es. (SF). https://www.muyinteresante.es. Проверено 26
Май 2018 г., с
www.muyinteresante.es/tecnologia/preguntas-respuestas/que-es-la-mineriade-datos-311477406441
Рамирес, AA (21 сентября 2016 г.).
Получено 26 мая 2018 г. с https://www.gestiopolis.com:
wikipedia.org. (27 апреля 2018 г.). https://es.wikipedia.org. Проверено 26
Май 2018 г., с
es.wikipedia.org/wiki/Miner%C3%ADa_de_datos
