Введение в машинное обучение. Равиль Ильгизович Мухамедиев
поскольку мы попытались использовать прямую там, где требуется как минимум окружность.
Исправить положение можно, используя регрессию второго порядка в соответствии с выражением (2.10). В предыдущей функции достаточно изменить одного оператора:
X=np.concatenate((np.ones([m,1]),X,X**2), axis=1)
После этого мы получим значение accuracy на тренировочном и тестовом множествах, равное 0.9, что вполне приемлемо для нашей задачи.
Необходимость подбора значимых параметров и формирования новых параметров является одним из недостатков логистической регрессии.
Вторым недостатком данного метода является то, что он предназначен для решения задач бинарной классификации.
Третья проблема, вытекающая из структурных свойств графического представления логистической регрессии, заключается в том, что она не способна напрямую решать некоторые классические логические задачи.
Для преодоления этих недостатков используются искусственные нейронные сети. Однослойные нейронные сети способны решать задачу мультиклассовой классификации, а многослойные нейронные сети успешно преодолевают все три ограничения.
Примечание. Программный код примера MLF_logReg_Python_numpy_002.ipynb, описанного в этом разделе, можно получить по ссылке
https://www.dropbox.com/s/vlp91rtezr5cj5z/MLF_logReg_Python_numpy_002.ipynb?dl=0
2.5. Контрольные вопросы
Что такое объект в задачах машинного обучения?
Как в общем виде записать функцию стоимости в задаче классификации?
Как в общем виде записать функцию стоимости в задаче регрессии?
Приведите выражение для функции гипотезы линейной регрессии одной переменной.
Как вычислить значения коэффициентов линейной регрессии? Укажите оба способа вычисления.
Приведите выражение функции стоимости логистической регрессии. Каково будет значение функции стоимости, если y = 0, h = 0, m = 2?
Каково назначение регуляризации?
Каковы недостатки логистической регрессии?
Какие алгоритмы применяются для минимизации значения функции стоимости логистической регрессии?
Чем отличается сигмоидальная функция от логистической?
Какие значения принимает логистическая функция?
2.6. Искусственные нейронные сети
2.6.1. Вводные замечания
Искусственные нейронные сети (Artificial Neural Networks – ANN – ИНС) – аппарат, который активно исследуется начиная с 40-х годов прошлого столетия. ИНС как часть теории коннективизма прошли значительный путь от эпохи завышенных ожиданий, через период разочарований (в 70-х годах) до широко применяемой технологии в настоящее время. Связь между биологическими нейронами и возможностями их моделирования с помощью логических вычислений установлена в работе Warren S. McCulloch, Walter Pitts [[39]], в работе Розенблатта [[40]] описана модель персептрона. Недостатки однослойного персептрона отражены в книге М. Минского и С. Пейперта [[41], [42]]. В этой книге подробно рассмотрены ограничения однослойной нейронной сети и доказано, что она не способна решать некоторые классические логические задачи, в частности, обозначена знаменитая проблема неразрешимости функции XOR для однослойной нейронной сети. Преодолеть этот недостаток можно было путем использования многослойных нейронных сетей. Однако в конце 60-х годов
Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. – 1958. – Vol. 65 (6). – P. 386–408.
Minsky M. L., Papert S. A. Perceptrons: An Introduction to Computational Geometry. – MIT, 1969. – 252 p.
Marvin Minsky, Seymour Papert. Perceptrons, expanded edition. – The MIT Press, 1987. – 308 p.