Дисбаланс данных является распространенной и сложной проблемой при обучении современных открытых трансформаторов. Как поставщик текущих открытых трансформаторов, у нас есть обширный опыт и глубокое понимание того, как решить эту проблему. В этом блоге мы рассмотрим методы и стратегии, которые наши нынешние открытые трансформаторы используют для устранения дисбаланса данных во время обучения.
Понимание дисбаланса данных при обучении трансформатора
Дисбаланс данных относится к ситуации, когда распределение классов в наборе данных не является равномерным. В контексте тока открытых трансформаторов это может возникнуть в различных приложениях, таких как обнаружение неисправностей в электрических системах. Например, в наборе данных для обнаружения электрических разломов нормальные условия эксплуатации могут намного превосходить аномальные или неисправные условия. Этот дисбаланс может привести к нескольким проблемам во время тренировки.
Когда трансформатор обучается несбалансированному набору данных, он имеет тенденцию быть смещенным в сторону класса большинства. Модель может достичь высокой точности в классе большинства, но плохо работать в классе меньшинства. В сценарии обнаружения электрических разломов трансформатор может быть очень хорошим в определении нормальных рабочих условий, но не может обнаружить редкие разломы, которые часто являются наиболее важными для идентификации.
Методы отбора проб
Одним из наиболее распространенных способов обработки дисбаланса данных является методы отбора проб. Существует два основных типа отбора проб: переноса и недостаточная выборка.
Перегрев
Отсутствие включает в себя увеличение количества образцов в классе меньшинства. Это можно сделать несколькими способами. Одним из популярных методов является синтетическое меньшинство над - техникой отбора проб (ударом). Smote создает синтетические образцы для класса меньшинства, интерполяции между существующими образцами класса меньшинств.
В наших текущих открытых трансформаторах мы реализовали модифицированную версию Smote. Мы анализируем характеристики точек данных класса меньшинства и создаем синтетические образцы, которые более репрезентативны для реальных мировых сценариев. Например, в случае данных электрического разлома мы рассмотрим электрические параметры и природу времени - серии данных при создании синтетических образцов. Это помогает трансформатору лучше изучить модели класса меньшинства и улучшить его способность обнаруживать редкие недостатки.
Открытый трансформатор [CTKD тока] (/Fire - Мониторинг - Остаток - ток - Трансформатор/CTKD - Cury - Open - Transformer.html) значительно выигрывает от этого метода перегрева. Увеличивая количество образцов класса меньшинств во время тренировок, трансформатор может лучше захватить уникальные особенности класса меньшинства, что приводит к более точному обнаружению неисправностей.
Недостаточная выборка
Недоставление, с другой стороны, уменьшает количество образцов в классе большинства. Это может быть простой способ сбалансировать набор данных, но он также имеет ограничения, так как это может привести к потере ценной информации.
Мы используем выборочный подход недостаточной выборки в наших текущих открытых трансформаторах. Вместо случайного удаления образцов из большинства классов мы идентифицируем и удаляем образцы, которые являются менее информативными или избыточными. Например, в наборе данных с большим количеством нормальных образцов рабочих условий мы можем удалить образцы, которые имеют очень похожие значения электрических параметров. Таким образом, мы можем уменьшить дисбаланс, не жертвуя слишком большим количеством информации. [CHK - CTKD OPEN и Close Turning Transformer] (/Fire - Мониторинг - Остаток - ток - Трансформатор/CHK - CTKD - Open - и - Close - Current - Transformer.html) использует эту стратегию недостаточной атмосферы во время обучения, обеспечивая, чтобы модель может сосредоточиться на наиболее значимых данных и достигать лучшей производительности.
Стоимость - чувствительное обучение
Другим подходом к обработке дисбаланса данных является стоимость - конфиденциальное обучение. В традиционном машинном обучении все ошибки неправильной классификации рассматриваются одинаково. Однако в случае дисбаланса данных ошибочная классификация выборки меньшинства часто является более дорогой, чем неправильная классификация выборки в классе.
В наших нынешних открытых трансформаторах мы реализуем затраты - конфиденциальное обучение, присваивая различные затраты различным типам неправильной классификации. Например, в применении обнаружения электрических разломов ошибочно классифицировать неисправное состояние, поскольку нормальное состояние может иметь серьезные последствия, такие как электрические пожары или повреждение оборудования. Поэтому мы назначаем более высокую стоимость этого типа неправильной классификации.
Во время учебного процесса трансформатор пытается минимизировать общую стоимость неправильной классификации. Это побуждает модель обращать больше внимания на класс меньшинства и повысить точность классификации для класса меньшинств. [CHK - F прямоугольный трансформатор остаточного тока] (/Fire - Мониторинг - остаточный - ток - трансформатор/CHK - F - прямоугольный - остаточный - ток. HTML) разработан с помощью алгоритмов затрат - чувствительного обучения, что позволяет им лучше обрабатывать дисбаланс данных в задачах обнаружения неисправностей.
Ансамблевые методы
Методы ансамбля также могут быть эффективными для обработки дисбаланса данных. Модель ансамбля объединяет несколько базовых моделей, чтобы сделать окончательный прогноз. Используя различные базовые модели, обученные различным подмножествам данных, ансамблевая модель может захватывать более широкий диапазон шаблонов и улучшить общую производительность.
Мы используем методы мешков и увеличения в наших нынешних открытых трансформаторах. Бэкинг включает в себя обучение нескольких базовых моделей на различных подмножествах данных, которые случайным образом отображаются с заменой. С другой стороны, повышение моделей последовательно обучает модели, где каждая новая модель фокусируется на образцах, которые были неправильно классифицированы предыдущими моделями.
В контексте дисбаланса данных методы ансамбля могут помочь трансформатору лучше изучить модели класса меньшинства. Например, в ансамбле на основе пакетов некоторые базовые модели могут быть обучены подмножествам данных, которые имеют относительно сбалансированное распределение классов, что позволяет им более эффективно изучать особенности урока меньшинства.
Показатели оценки
При работе с дисбалансом данных традиционные показатели оценки, такие как точность, могут быть не подходящими. Точность измеряет общую долю правильно классифицированных образцов, но она может вводить в заблуждение в присутствии дисбаланса данных. Например, если набор данных имеет 95% выборки класса большинства и 5% образцов класса меньшинств, модель, которая всегда прогнозирует, что класс большинства достигнет 95% точности, даже если она вообще не обнаруживает класс меньшинства.
Мы используем более подходящие показатели оценки, такие как точность, отзыв и оценка F1. Точность измеряет долю правильно предсказанных положительных образцов из всех прогнозируемых положительных образцов. Отзыв измеряет долю правильно предсказанных положительных образцов из всех фактических положительных образцов. Оценка F1 - это гармоническое среднее значение точности и отзыва, обеспечивающее сбалансированную меру производительности модели.
Используя эти показатели оценки во время обучения и тестирования наших текущих открытых трансформаторов, мы можем лучше оценить способность модели обрабатывать дисбаланс данных и вносить необходимые корректировки для повышения ее производительности.
Заключение
Дисбаланс данных является серьезной проблемой при обучении текущих открытых трансформаторов. Однако благодаря использованию методов выборки, затрат - чувствительного обучения, ансамблевых методов и соответствующих показателей оценки мы можем эффективно решить эту проблему. Наш [CTKD -ток с открытым трансформатором] (/Fire - Мониторинг - остаточный - ток - трансформатор/CTKD - ток - Open - Transformer.html), [CHK - CTKD Open и Close Turning Transformer] (/Fire - Мониторинг - Остато Мониторинг - остаточный - ток - трансформатор/CHK - F - прямоугольный - остаточный - ток. HTML) разработаны с учетом этих стратегий, чтобы обеспечить высокую - производительность в различных приложениях, особенно при обнаружении редких событий, таких как электрические разломы.
Если вы заинтересованы в наших нынешних открытых трансформаторах и хотите обсудить закупки, пожалуйста, не стесняйтесь обращаться к нам. Мы готовы предоставить вам подробную информацию о продукте и решения, адаптированные к вашим конкретным потребностям.
Ссылки
- Chawla, NV, Bowyer, KW, Hall, Lo, & Kegelmeyer, WP (2002). Удар: синтетическое меньшинство над - техникой отбора проб. Журнал исследований искусственного интеллекта, 16, 321 - 357.
- Elkan, C. (2001). Основы стоимости - чувствительное обучение. В IJCAI (том 1, с. 973 - 978).