Regresi Linear Dijelaskan

Regresi linear adalah cara paling sederhana untuk melihat hubungan antara dua variabel: ia menggambar garis lurus yang paling cocok dengan data, lalu garis itu dipakai untuk memprediksi. Artikel ini menjelaskan kemiringan, intersep, residual, dan R² dengan satu contoh soal yang dihitung sampai tuntas.

Satu garis, satu contoh soal — seluruh artikel ini bertumpu pada keduanya. Contohnya kecil dan sengaja dibuat sederhana: lima siswa, jam belajar mereka (x) dan nilai ujian mereka (y). Dengan lima titik itu, kita akan menghitung garis regresinya, membaca arti kemiringan dan intersepnya, memeriksa seberapa jauh garis itu meleset dari tiap titik, mengukur seberapa baik garis itu menjelaskan data, lalu memakai garis itu untuk memprediksi — dan melihat kapan prediksi itu tidak lagi boleh dipercaya. Semua angka di artikel ini sama dengan angka yang dihasilkan kalkulator regresi linear, sehingga Anda dapat memeriksanya sendiri di sana.

Datanya — data contoh kelas — adalah sebagai berikut: jam belajar x = 1, 2, 3, 4, 5 dan nilai ujian y = 2, 4, 5, 4, 5. Lima pasangan: (1, 2), (2, 4), (3, 5), (4, 4), (5, 5). Rata-ratanya mudah dihitung: rata-rata x = 3,00 dan rata-rata y = 4,00. Dari sinilah semua yang lain diturunkan.

Apa itu regresi linear?

Regresi linear mencari garis lurus yang paling cocok dengan sebaran titik data. Garis itu ditulis ŷ = a + bx: x adalah variabel yang dipakai untuk memprediksi (di sini jam belajar), y adalah variabel yang diprediksi (nilai ujian), b adalah kemiringan garis, a adalah intersepnya, dan ŷ (dibaca "y topi") adalah nilai y yang diprediksi garis untuk x tertentu. Tanda topi itu penting: ŷ adalah prediksi, sedangkan y tanpa topi adalah nilai yang benar-benar diamati — dan keduanya jarang sama persis.

"Paling cocok" di sini punya arti yang tepat: garis regresi adalah garis yang meminimalkan jumlah kuadrat residual — jumlah kuadrat selisih antara nilai yang diamati dan nilai yang diprediksi. Cara ini disebut kuadrat terkecil (OLS, ordinary least squares). Bila sebuah garis membuat jumlah kuadrat selisihnya paling kecil di antara semua garis lurus yang mungkin, garis itulah garis regresinya. Mengapa kuadrat, bukan selisih biasa? Karena selisih biasa bisa saling menghapus (positif menutupi negatif), sedangkan kuadrat membuat setiap kesalahan — ke arah mana pun — ikut dihitung, dan kesalahan besar dihukum lebih berat daripada kesalahan kecil.

Untuk data contoh kelas, garis yang memenuhi syarat itu adalah ŷ = 2,2 + 0,6x. Di bawah ini Anda dapat melihatnya: lima titik data, garis lurus yang melewati tengah-tengah mereka, dan garis putus-putus merah yang menunjukkan seberapa jauh tiap titik meleset dari garis — itulah residual, yang akan kita hitung satu per satu.

x = 6 → ŷ = 5,8 0 1 2 3 4 5 6 0 2 4 6 jam belajar (x) ŷ = 2,2 + 0,6x garis putus-putus = residual

Lima titik data contoh kelas, garis regresi ŷ = 2,2 + 0,6x, dan residual tiap titik (garis putus-putus merah). Lingkaran hijau di x = 6 adalah prediksi, bukan data.

Apa arti kemiringan 0,6 pada regresi linear?

Kemiringan (b) adalah laju perubahan: berapa besar ŷ berubah bila x naik satu satuan. Pada data contoh kelas, b = 0,6 — artinya setiap tambahan satu jam belajar dikaitkan dengan kenaikan nilai rata-rata 0,6 poin. Kata "rata-rata" di sini tidak boleh hilang: kemiringannya menggambarkan kecenderungan garis, bukan janji untuk tiap siswa. Siswa yang belajar satu jam lebih lama tidak otomatis mendapat nilai 0,6 lebih tinggi; yang benar adalah: di antara kelima siswa ini, pola umumnya adalah nilai naik 0,6 per jam belajar tambahan.

Kemiringan dihitung dari jumlah-jumlah perantara yang juga ditampilkan kalkulator regresi linear: Sxx = 10, Sxy = 6, dan Syy = 6, dengan x̄ = 3,00 dan ȳ = 4,00. Rumusnya b = Sxy / Sxx = 6 / 10 = 0,6. Intersepnya mengikuti: a = ȳ − b·x̄ = 4,00 − 0,6 × 3,00 = 4,00 − 1,80 = 2,2. Jadi garisnya ŷ = 2,2 + 0,6x — dan garis ini selalu melewati titik (x̄, ȳ) = (3, 4), titik pusat data. Periksa: ŷ pada x = 3 adalah 2,2 + 0,6 × 3 = 4,0, tepat sama dengan ȳ. Itu bukan kebetulan: garis regresi kuadrat terkecil selalu melewati titik rata-rata.

Intersep a = 2,2 adalah nilai ŷ saat x = 0: garis memprediksi nilai 2,2 untuk siswa yang sama sekali tidak belajar. Di sini Anda harus berhenti sejenak: tidak ada satu pun siswa dalam data yang belajar 0 jam — jam belajar terkecil adalah 1. Intersep 2,2 adalah ekstrapolasi ke luar rentang data, bukan siswa yang diukur. Sebagai angka pada garis ia benar, tetapi sebagai pernyataan tentang siswa yang tidak belajar ia tidak didukung data. Inilah peringatan pertama tentang ekstrapolasi; akan ada lagi di bagian prediksi.

Tanda kemiringan juga bercerita: b positif berarti x dan y bergerak searah — makin banyak jam belajar, makin tinggi nilai (dalam data ini). Bila b negatif, hubungannya berlawanan arah. Dan bila b = 0, garisnya datar: x tidak membantu memprediksi y sama sekali. Tanda b selalu sama dengan tanda koefisien korelasi r — keduanya mengukur arah yang sama, seperti dijelaskan di bawah.

Residual: seberapa jauh garis meleset?

Residual adalah selisih antara nilai yang diamati dan nilai yang diprediksi garis: e = y − ŷ. Residual positif berarti titiknya berada di atas garis (nilainya lebih tinggi daripada prediksi); residual negatif berarti di bawah garis. Tabel berikut menghitung semuanya untuk data contoh kelas:

x (jam)y (diamati)ŷ (diprediksi)Residual (y − ŷ)Residual²
122,8−0,80,64
243,4+0,60,36
354,0+1,01,00
444,6−0,60,36
555,2−0,20,04

Jumlah kuadrat residualnya — SSE (sum of squared errors) — adalah 0,64 + 0,36 + 1,00 + 0,36 + 0,04 = 2,4. Inilah bilangan yang diminimalkan OLS: garis lain mana pun akan memberi SSE yang lebih besar. Residual terbesar adalah +1,0 pada x = 3: siswa ketiga nilainya 5, sedangkan garis memprediksi 4,0 — titik yang paling jauh dari garis, dan karena kuadratnya 1,00, ia sendiri menyumbang hampir setengah dari SSE. Perhatikan juga jumlah residualnya: −0,8 + 0,6 + 1,0 − 0,6 − 0,2 = 0 — selalu nol pada garis regresi OLS, karena garis dipasang tepat di tengah-tengah kesalahan.

Dari SSE kita mendapat simpangan baku residual: s = √(SSE / (n − 2)) = √(2,4 / 3) = √0,8 = 0,8944. Angka ini mengukur seberapa jauh titik-titik biasanya menyimpang dari garis — kira-kira 0,89 poin nilai. Bila s kecil, titik-titik menempel pada garis dan prediksinya tajam; bila s besar, garis hanyalah perkiraan kasar. Simpangan baku residual dihitung dengan cara yang sama seperti simpangan baku biasa, hanya saja yang diukur adalah residual, bukan data mentahnya. Jumlah kuadrat totalnya — SST — adalah 6,0, yaitu jumlah kuadrat selisih y dari rata-ratanya (ȳ = 4,00). Selisih SST − SSE = 6,0 − 2,4 = 3,6 adalah SSR, jumlah kuadrat yang "dijelaskan" garis. Ketiga bilangan ini (SST = 6,0; SSR = 3,6; SSE = 2,4) adalah bahan untuk R² di bagian berikutnya.

R² = 0,600: apa artinya?

R² (koefisien determinasi) mengukur seberapa besar variasi y yang dijelaskan garis: R² = SSR / SST = 3,6 / 6,0 = 0,600. Artinya 60% variasi nilai ujian dijelaskan oleh jam belajar; 40% sisanya tidak — ia berasal dari faktor lain (bakat, kualitas tidur, kesulitan soal) dan dari noise. R² selalu berada di antara 0 dan 1: 0 berarti garis tidak menjelaskan apa pun (prediksi terbaiknya hanyalah rata-rata ȳ), 1 berarti garis melewati semua titik dengan sempurna (SSE = 0).

R² juga adalah kuadrat koefisien korelasi: r = 0,7746, dan 0,7746² = 0,600. Hubungan ini selalu berlaku pada regresi linear sederhana dengan satu variabel x. Tetapi jangan membaca R² sebagai "kebenaran" model: R² yang tinggi tidak membuktikan modelnya benar, dan R² yang rendah tidak membuktikan modelnya salah — R² hanya mengukur seberapa dekat titik-titik itu dengan garis lurus ini, bukan apakah garis lurus adalah bentuk yang tepat. Contoh Anscombe di bagian kesalahan umum menunjukkan betapa R² dapat menipu.

Ingat: R² = 0,600 berarti 60% variasi dijelaskan — bukan "60% data cocok" dan bukan "garisnya 60% benar". R² adalah proporsi variasi, bukan proporsi titik.

Apa bedanya korelasi dan regresi?

Korelasi dan regresi memakai data yang sama dan menjawab pertanyaan yang berdekatan, tetapi keduanya bukan hal yang sama. Koefisien korelasi Pearson r mengukur kekuatan dan arah hubungan linear: untuk data contoh kelas, r = 0,7746 — hubungan positif yang kuat. Kemiringan b mengukur laju perubahan: 0,6 poin nilai per jam belajar. Keduanya punya tanda yang sama (di sini positif), tetapi satuannya berbeda: r tidak punya satuan (selalu di antara −1 dan +1), sedangkan b punya satuan (poin nilai per jam belajar). Hubungan matematisnya: b = r × (sy / sx) — kemiringan adalah korelasi yang diskalakan dengan perbandingan simpangan baku kedua variabel.

Perbedaan praktisnya: korelasi memberi satu angka ringkas tentang kekuatan hubungan, tetapi tidak memberi persamaan prediksi. Regresi memberi persamaan (ŷ = 2,2 + 0,6x) yang dapat dipakai untuk memprediksi nilai y dari x berapa pun. Sebaliknya, korelasi simetris — r antara x dan y sama dengan r antara y dan x — sedangkan regresi tidak: garis yang memprediksi y dari x berbeda dengan garis yang memprediksi x dari y. Bila Anda hanya ingin tahu "seberapa kuat hubungannya", hitung r dengan kalkulator koefisien korelasi; bila Anda ingin memprediksi, pakai regresi.

Dan satu hal yang sama-sama tidak dapat dilakukan keduanya: membuktikan sebab-akibat. Baik r = 0,7746 maupun b = 0,6 hanya mengatakan jam belajar dan nilai bergerak bersama — bukan bahwa menambah jam belajar menyebabkan nilai naik. Bisa jadi siswa yang rajin memang lebih pandai, atau siswa yang pandai memang lebih rajin, atau keduanya dipengaruhi faktor ketiga (misalnya dukungan orang tua). Data observasional seperti ini tidak dapat membedakan ketiga penjelasan itu; hanya percobaan terkendali yang dapat.

Prediksi dan ekstrapolasi: x = 6, x = 7, x = 10

Di sinilah garis mulai bekerja. Prediksi memakai persamaan ŷ = 2,2 + 0,6x, dengan memasukkan x berapa pun:

x (jam belajar)ŷ (prediksi)Status
02,2Di luar rentang data (di bawah 1) — ekstrapolasi
65,8Tepat di luar rentang data (1–5) — hati-hati
76,4Di luar rentang data — ekstrapolasi
108,2Jauh di luar rentang data — jangan dipercaya

Perhitungannya langsung: pada x = 6, ŷ = 2,2 + 0,6 × 6 = 2,2 + 3,6 = 5,8; pada x = 7, ŷ = 2,2 + 4,2 = 6,4; pada x = 10, ŷ = 2,2 + 6,0 = 8,2. Garis yang sama, tiga prediksi — tetapi kepercayaan kita pada ketiganya tidak sama. Data dipasang pada x = 1 sampai 5; x = 6 hanya selangkah di luar, sehingga 5,8 masih merupakan perkiraan yang wajar (dengan catatan). Tetapi x = 10 dua kali lipat rentang data: tidak ada yang menjamin hubungan linear itu berlanjut sejauh itu. Nilai ujian punya batas atas (misalnya 10, atau 100 dalam skala lain), dan jam belajar punya titik jenuh — siswa yang belajar 10 jam tidak otomatis mendapat nilai 8,2; ia mungkin kelelahan, atau materinya sudah habis. Garis tidak tahu itu; garis hanya memperpanjang kemiringannya.

Verifikasi prediksi ini di kalkulator regresi linear (mode prediksi), yang juga memberi interval prediksi 95% — rentang tempat nilai individu yang sebenarnya kemungkinan jatuh. Untuk x = 6, interval prediksinya [1,68; 9,92]: sangat lebar, karena n = 5 memberi sedikit informasi. Interval yang lebar itu adalah cara statistik mengatakan "prediksi ini tidak pasti" — dan itulah pesan yang benar.

Aturan praktis: prediksi di dalam rentang data (interpolasi) relatif aman; prediksi di luar rentang data (ekstrapolasi) harus selalu disertai peringatan — dan semakin jauh di luar, semakin kecil kepercayaan yang pantas diberikan.

Uji signifikansi kemiringan: apakah 0,6 benar-benar bukan nol?

Kemiringan 0,6 dihitung dari lima siswa saja. Pertanyaan yang wajar: apakah kemiringan ini benar-benar berbeda dari nol, atau hanya kebetulan dari sampel yang kecil? Uji signifikansi kemiringan menjawabnya. Galat baku kemiringan (SE) adalah 0,2828, sehingga statistik ujinya t = b / SE = 0,6 / 0,2828 = 2,121, dengan df = n − 2 = 3. Nilai-p dua sisinya adalah 0,124 — dihitung dari distribusi t, yang dapat Anda verifikasi di kalkulator nilai-p.

Karena 0,124 > 0,05, kemiringan ini TIDAK signifikan pada taraf 5%: dengan n = 5, data tidak membuktikan bahwa kemiringan sebenarnya berbeda dari nol. Garisnya tetap garis terbaik untuk lima titik ini, tetapi lima titik terlalu sedikit untuk menyimpulkan bahwa hubungan itu nyata di populasi. Inilah pelajaran terpenting contoh ini: contoh soal mengajarkan metode, bukan temuan. Metode yang sama pada sampel yang lebih besar dapat memberi jawaban yang meyakinkan — bandingkan dengan contoh biaya iklan vs penjualan (n = 10) dari kalkulator koefisien korelasi: kemiringan 2,085 dengan t = 15,59, df = 8, dan p < 0,0001 — sangat signifikan. Metode sama, sampel lebih besar, kesimpulan berbalik.

Perhatikan juga interval kepercayaan 95% untuk kemiringan: b ± t* × SE = 0,6 ± 3,182 × 0,2828 = 0,6 ± 0,900, yaitu [−0,30; 1,50]. Nol berada di dalam interval — konsisten dengan nilai-p 0,124. Bila intervalnya tidak memuat nol, kemiringan itu signifikan; di sini ia memuat nol, jadi tidak.

Kapan regresi linear tidak boleh dipakai?

1. Korelasi bukan sebab-akibat. Ini kesalahan yang paling sering dibuat — dan yang paling berbahaya. Regresi menunjukkan jam belajar dan nilai bergerak bersama; ia tidak menunjukkan bahwa belajar menyebabkan nilai naik. Variabel perancu (misalnya motivasi, atau dukungan orang tua) dapat menjelaskan keduanya. Jangan pernah menulis "belajar 1 jam lebih lama menaikkan nilai 0,6 poin" sebagai klaim sebab-akibat; yang benar adalah "dikaitkan dengan kenaikan rata-rata 0,6 poin".

2. Ekstrapolasi. Garis dipasang pada x = 1 sampai 5. Prediksi pada x = 10 (ŷ = 8,2) memakai garis di wilayah yang tidak pernah diamati. Hubungan yang linear di rentang sempit dapat melengkung, mendatar, atau berbalik di luar rentang itu. Selalu sebutkan rentang data saat melaporkan prediksi.

3. R² tinggi bukan berarti model benar. Kuartet Anscombe adalah buktinya: empat kumpulan data yang berbeda — satu linear, satu melengkung, satu dengan pencilan, satu garis vertikal dengan satu pencilan — semuanya punya r ≈ 0,816 dan garis regresi yang hampir sama. Angka ringkasnya identik; ceritanya sama sekali berbeda. Lihat keempat diagram sebarnya di demo kuartet Anscombe — tanpa grafik, Anda tidak akan tahu mana yang linear dan mana yang tidak.

4. Hubungan yang tidak linear. Regresi linear memaksakan garis lurus. Bila hubungan sebenarnya melengkung (misalnya hasil belajar naik cepat lalu mendatar), garis lurus akan salah di kedua ujungnya — dan residualnya akan berpola (bukan acak). Selalu periksa diagram sebar dan pola residual sebelum mempercayai garis.

5. Pencilan yang berpengaruh. Satu titik yang jauh dari yang lain dapat menarik garis ke arahnya dan mengubah kemiringan secara besar-besaran — terutama pada sampel kecil seperti lima siswa ini. Bila satu siswa belajar 20 jam dan nilainya 10, garisnya akan berubah total. Periksa titik-titik ekstrem sebelum melaporkan garis.

Regresi linear di Excel

Excel menghitung ketiga bilangan utama garis dengan satu fungsi untuk masing-masing — dengan data x di A2:A6 dan y di B2:B6, dan pemisah titik koma (;) sesuai pengaturan regional Indonesia:

Yang dihitungRumus ExcelHasil
Kemiringan (b)=SLOPE(B2:B6; A2:A6)0,6
Intersep (a)=INTERCEPT(B2:B6; A2:A6)2,2
R²=RSQ(B2:B6; A2:A6)0,6000

Untuk grafiknya: blok data x dan y, sisipkan diagram sebar (Scatter), lalu klik kanan pada titik data dan pilih "Add Trendline" (Tambahkan Garis Tren), pilih "Linear", dan centang "Display Equation on chart" (Tampilkan Persamaan pada grafik) — Excel akan menggambar garisnya dan menulis ŷ = 0,6x + 2,2 di sampingnya. Perhatikan urutan Excel: intersep ditulis terakhir, sehingga persamaannya terbaca 0,6x + 2,2 — sama dengan ŷ = 2,2 + 0,6x.

Pertanyaan yang sering diajukan

Regresi linear mencari garis lurus yang paling cocok dengan sebaran titik data, lalu memakai garis itu untuk memprediksi. Garisnya ditulis ŷ = a + bx: b adalah kemiringan, a adalah intersep, dan ŷ adalah nilai y yang diprediksi garis untuk x tertentu. Garis yang dipilih adalah garis kuadrat terkecil (OLS) — garis yang meminimalkan jumlah kuadrat selisih antara nilai yang diamati dan nilai yang diprediksi.

Kemiringan adalah laju perubahan ŷ per satu satuan x. Pada contoh kelas, kemiringan 0,6 berarti setiap tambahan satu jam belajar dikaitkan dengan kenaikan nilai rata-rata 0,6 poin. Kemiringan positif berarti x dan y bergerak searah; kemiringan negatif berarti berlawanan arah; kemiringan nol berarti x tidak membantu memprediksi y.

Intersep adalah nilai ŷ saat x = 0. Pada contoh kelas, intersep 2,2 berarti garis memprediksi nilai 2,2 untuk siswa yang sama sekali tidak belajar. Tetapi tidak ada siswa dalam data yang belajar 0 jam — intersep ini adalah ekstrapolasi, bukan siswa yang diukur, sehingga ia tidak boleh dibaca sebagai fakta tentang siswa yang tidak belajar.

Residual adalah selisih antara nilai yang diamati dan nilai yang diprediksi garis: e = y − ŷ. Pada contoh kelas, residualnya adalah −0,8; +0,6; +1,0; −0,6; dan −0,2, dengan jumlah kuadrat (SSE) 2,4. Garis regresi OLS adalah garis yang membuat SSE sekecil mungkin; residual terbesar (+1,0 pada x = 3) adalah titik yang paling jauh dari garis.

R² = 0,600 berarti 60% variasi nilai ujian dijelaskan oleh jam belajar, dan 40% sisanya berasal dari faktor lain dan noise. R² adalah proporsi variasi yang dijelaskan — bukan "60% data cocok". R² juga sama dengan kuadrat koefisien korelasi: 0,7746² = 0,600.

Korelasi (r = 0,7746) mengukur kekuatan dan arah hubungan linear, tanpa satuan, dan simetris antara x dan y. Regresi (kemiringan 0,6) mengukur laju perubahan y per satuan x, dengan satuan, dan memberi persamaan prediksi ŷ = 2,2 + 0,6x. Keduanya punya tanda yang sama, tetapi hanya regresi yang dapat dipakai untuk memprediksi.

Tidak. Regresi hanya menunjukkan bahwa dua variabel bergerak bersama. Jam belajar dan nilai berkorelasi, tetapi hubungan itu dapat dijelaskan oleh faktor ketiga (misalnya motivasi atau dukungan orang tua), atau arahnya dapat terbalik. Hanya percobaan terkendali yang dapat membuktikan sebab-akibat.

Karena garis hanya dipasang pada data yang diamati — di sini x = 1 sampai 5. Di luar rentang itu (ekstrapolasi), hubungan dapat melengkung, mendatar, atau berbalik. Prediksi x = 6 (ŷ = 5,8) masih dekat dengan data, tetapi prediksi x = 10 (ŷ = 8,2) berada jauh di luar rentang dan tidak dapat dipercaya.

Jelajahi Alat Lainnya

● Aktif

Kalkulator Regresi Linear

Garis regresi, kemiringan, intersep, korelasi, dan R² beserta prediksi dan grafiknya.

Hitung →
● Aktif

Kalkulator Koefisien Korelasi

Koefisien korelasi Pearson r dengan uji signifikansi dan interval kepercayaan.

Hitung →

Baca Artikel Lainnya

● Artikel

Rata-Rata, Median, dan Modus: Perbedaan & Contoh Soal

Rata-rata, median, dan modus adalah tiga ukuran pemusatan — kapan memakai yang mana, dan cara menghitungnya untuk data tunggal maupun data kelompok.

Baca →
● Artikel

Cara Menghitung Skor Z: Rumus, Contoh, dan Persentil

Cara menghitung skor z dengan rumus z = (x − μ) / σ: contoh soal langkah demi langkah, tabel persentil, dan Excel.

Baca →

Sumber: NIST/SEMATECH e-Handbook of Statistical Methods, 4.1.4.1. Linear Regression (https://www.itl.nist.gov/div898/handbook/pmd/section1/pmd141.htm). Semua kalkulator: Kalkulator Statistik.