Ilyas Varshavskiy

Хочется какой-то вне рабочей активности. Разрываюсь между желанием сделать что-то интересное на какой-нибудь Kaggle конкурс и собственным исследованием. Data Scientist борется с исследователем. Победит скорее всего дружба

Происходит прогрев Маска на деньги, лол

В любом случае интересно будет. Благодарю. Сейчас по обучению теорией графов чуть-чуть успеваю заниматься. Оно тоже мне нужно будет, а база по ней у меня совсем общая

По ощущениям она и в регрессионной задаче себя не плохо должна показать. Думаю что это тоже чекну. И тут интересно посмотреть как с catboost регрессором и lstm справится.

Но аналогии мб не вижу так возможно слепой (порог входа не прохожу). У меня навязчивое желание впихнуть куда-то вот сюда классическое обратное распространение ошибки и будто от этого хорошо будет. Не то чтобы для самой LNN, но чтобы понятным образом модифицировать можно было

Надо было, уже решено. Time series с бинарным таргетом. Таргет естественно имеет сложную зависимость и во времени тоже. И тут было интересно посмотреть, что модель вообще умеет и на сколько долго обучается. Спасибо за книжку, очень крутая! Пока не вижу аналогии с 29. LNN: arxiv.org/abs/2006.04439

А нет задачи. Делал классификационный таск, нейронка почти без поиска гиперпараметров себя очень хорошо показала по сравнению с catboost. Ну и сложность модели в эксперименте чекнул. Есть ощущение, что с помощью такого способа обновления весов можно сделать крутой аналог backpropа, пока не понимаю

Мучаю какое-то время Liquid NN. Очень приятные модели для time-series в плане низкого оверфита, с высокой способностью находить сложные зависимости. Веса обновляются через ode. Концепция слоя как весов на каждом шаге решателя пока не понимаема полностью, однако есть острое желание сделать свой ode.