FORWARD-BACKWARD PURSUIT BASED SPARSE EXTREME LEARNING
MACHINE
Journal Name:
- Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi
Keywords (Original Language):
| Author Name | University of Author | Faculty of Author |
|---|---|---|
Abstract (2. Language):
Recently, the Extreme Learning Machine (ELM) becomes an interesting topic in machine learning area. The
ELM has been proposed as a new learning algorithm for Single-Hidden Layer Feed forward Networks (SLFNs).
The ELM structure has several advantageous such as good generalization performance, extremely fast learning
ability and low computational process. Besides this advantageous, the ELM structure has some drawbacks.
Firstly, the ELM encounters over-fitting problems because of using a least squares minimization in calculation of
the output weights. The other drawback is about accuracy of the ELM. It depends on the number of hidden
neurons. This situation is a big challenge in high-dimensional problems for some practical applications. In this
paper, we propose a sparse ELM model to overcome the above-mentioned drawbacks. In the sparse ELM model,
Forward-Backward Pursuit (FBP) algorithms based on greedy pursuit was used to obtain sparse representation of
the output weights. The proposed method which is called FBP-ELM, has several benefits in comparing with the
traditional ELM schemes such as avoiding over-fitting, low computational complexity and with adequate
number of neurons in hidden layer. FBP-ELM shows its remarkable advantages when it is compared with the
empirical studies on commonly used classification benchmarks. Moreover, a comparison with the original ELM
and the other regularized ELM schemes such as Least-angle regression (LARS), Least absolute shrinkage and
selection operator (LASSO) and Elastic Net is presented to show effectiveness of proposed FBP-ELM method.
Bookmark/Search this post with
Abstract (Original Language):
Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makine öğrenmesi alanında ilgi duyulan bir konu haline
gelmiştir. AÖM Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme
algoritmasıdır. AÖM modeli iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı
gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM bazı dezavantajlara sahiptir. Öncelikle, çıkış
ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından aşırı örtüşme ile karşı
karşıyadır. Bir diğer sakınca ise AÖM’nin doğruluğunun gizli katman nöron sayısına bağlı olmasıdır. Bu
olumsuzluk geniş ölçekli problemlerde daha kötü bir hal almaktadır. Çalışmamızda, bu olumsuzlukları gidermek
için seyrek tabanlı bir AÖM modeli önerildi. Seyrek tabanlı AÖM modelinde, çıkış ağırlıklarının seyrek
temsilini hesaplamak için yinelemeli fırsatçı takip algoritması tabanlı İleri-Geri Takip (İGT) algoritması
kullanılmıştır. İGT-AÖM olarak adlandırılan yöntem normal AÖM ile karşılaştırıldığında aşırı örtüşmeyen
(ezberlemeyen) ağ yapısı, düşük hesap karmaşıklığı ve gizli katman nöronlarının kabul edilebilir bir sayıda
olması gibi üstünlüklere sahiptir. Yaygın kullanılan sınıflandırma problemleri üzerine yapılan deneysel
çalışmalar ışığında İGT-AÖM yöntemi dikkate değer üstünlükler göstermektedir. Ayrıca başarımın etkinliğini
vurgulamak için çalışmanın devamında normal AÖM ve en küçük açısal regresyon (Least angle regression,
LARS), en küçük mutlak daralma ve seçme operatörü (Least absolute shrinkage and selection operator, LASSO)
ve Elastic Net gibi düzenlenmiş AÖM’ler ile önerilen metodun karşılaştırılması yapılmıştır.
- 1