Список проголосовавших за комментарий "Make_hard, нужен совет по балансировке датасета для задачи классификации текстов.<br/> <br/> У меня текстовый датасет из ~104K сообщений, размеченный по трём классам (негативный/-1, нейтральный/0, позитивный/+1) для разных временных окон. Проблема в сильном дисбалансе:<br/> <br/> Текущее распределение классов:<br/> <br/> * 5 min: -1 (9.7%), 0 (81.1%), 1 (9.2%)<br/> * 15 min: -1 (9.1%), 0 (82.0%), 1 (8.9%)<br/> * 60 min: -1 (8.1%), 0 (84.0%), 1 (7.9%)<br/> <br/> Моя идея: удалить из класса 0 «истинно нейтральные» примеры — те, у которых целевая метрика близка к нулю и z-score низкий (нет статистической значимости).<br/> <br/> Данные по классу 0 (для 5 мин):<br/> <br/> * 61.7% имеют |z-score| < 0.5 (очень низкая значимость)<br/> * 87.8% имеют |z-score| < 1.0 (слабая значимость)<br/> * 99.9% имеют малое абсолютное значение целевой метрики<br/> <br/> <strong>Мои вопросы:</strong><br/> <br/> * Насколько корректен такой подход для балансировки? Не теряю ли я важную информацию о «настоящих нейтральных» примерах?<br/> * Какой порог по z-score посоветуешь использовать? Склоняюсь к |z| < 1.0 (это даст удаление ~74K из 84K нейтральных, останется ~30K примеров с более-менее равными классами).<br/> * Может, есть лучшие стратегии для такой задачи, кроме андерсэмплинга нейтрального класса?"