Statistika adalah suatu ilmu yang telah dipakai sejak awal abad ke-17, di masa tersebut aplikasi statistik hanya terbatas untuk pengolahan data yang dipakai lembaga-lembaga administratif dan pemerintahan, seperti sensus, pajak, dan pengolahan data yang dipakai sebagai informasi untuk masyarakat. Setelah memasuki awal abad ke -19 dan 20, seiring dengan perkembangan ilmu probabilitas, aplikasi statistika juga telah banyak diterapkan pada berbagai bidang atau cabang ilmu lainnya.
Saat ini istilah statistika banyak dikenal pada kalangan luas sebagai ilmu yang mempelajari cara pengumpulan, pengolahan, penyajian dan analisis data serta cara pengambilan kesimpulan. Dalam buku Wapole disebutkan, metode statistik secara umum dibedakan menjadi 2 yaitu statistika deskriptif dan statistika inferensia. Penggunaan awal statistik di awal abad ke-17, termasuk dalam metode statistika deskriptif, yang terdiri dari pembuatan diagram serta penyajian data menjadi suatu informasi yang berguna sedangkan metode yang dipakai pada perkembangan selanjutnya biasa disebut dengan statistika inferensia.
Perkembangan metode statistika inferensia yang berbasis teori probabilitas inilah yang seringkali diaplikasikan pada berbagai bidang ilmu. Bermunculannya berbagai cabang ilmu baru, yang merupakan gabungan antara ilmu statististik dan bidang ilmu lainnya seperti ekonometrika yang merupakan gabungan ilmu ekonomi dengan ilmu statistika, psikometri yaitu gabungan antara ilmu psikologi dengan statistika, dan masih banyak yang lainnya.
Sehingga tidaklah heran, jika dewasa ini penerapan statistika tidak hanya dipakai sebatas sebagai pengumpulan data dan penyajian informasi namun cenderung dipakai sebagai suatu pengambilan keputusan melalui suatu generalisasi data sampel serta peramalan untuk beberapa periode mendatang. Pengambilan keputusan diperoleh dengan membangun suatu pemodelan matematis, dengan nilai error terkecil, sehingga diharapkan model yang dipakai dapat sesuai dengan fenomena sebenarnya.
Salah satu cabang ilmu yang juga menggunakan penerapan dari beberapa metode statistik adalah ilmu manajemen, suatu cabang ilmu pengetahuan yang berfungsi dalam perencanaan, pengorganisasian, pengawasan dan kemampuan untuk mempengaruhi sumber daya manusia dan sumber lainnya secara efektif dan efisien untuk mencapai suatu tujuan tertentu. Cabang ilmu ini juga sering dipakai dalam pemecahan persoalan-persoalan di dalam suatu organisasi maupun perusahaan. Manajemen terdiri dari 5 bidang yaitu manajemen produksi, manajemen pemasaran, manajemen keuangan, manajemen sumber daya manusia, serta manajemen administrasi. Kelima bidang tersebut juga tidak lepas dari penggunaan metode statistik baik deskriptif maupun inferensia.
Pada bidang manajemen produksi, penggunaan beberapa peta kendali statistik diaplikasikan untuk mendeteksi apakah suatu proses produksi berjalan secara terkendali atau tidak, jika terdapat kondisi yang tidak terkendali maka dapat diselidiki beberapa penyebabnya sehingga dapat diambil suatu keputusan untuk menanganinya secara tepat. Sedangkan dalam manajemen pemasaran ilmu statistika seringkali dipakai untuk mengetahui faktor-faktor apa saja yang berpengaruh terhadap kepuasan serta loyalitas suatu pelanggan, pada bidang manajemen keuangan salah satu metode statistik yaitu peramalan juga dipakai untuk menentukan suatu keputusan maupun suatu kebijakan tertentu.
Pada bidang manajemen sumber daya, penggunaan metode statistik acapkali dipakai untuk mengukur kinerja dari suatu karyawan. Serta pada bidang manajemen administrasi, salah satunya dalam pembuatan beberapa laporan juga menggunakan metode statistika deskriptif, dan masih banyak lagi penggunaan beberapa metode statistik dalam setiap bidang manajemen.
Pada bidang manajemen sumber daya manusia dan juga pemasaran, beberapa topik yang sering diangkat dalam penelitian adalah pengukuran kinerja serta kualitas pelayanan dalam peningkatan kepuasan pelanggan. Penilaian kinerja karyawan merupakan suatu hal yang seharusnya dilakukan pada setiap perusahaan, karena dengan dilaksannya penilaian tersebut, secara otomatis produktivitas kerja karyawan akan meningkat dan nantinya juga akan berdampak terhadap kemajuan suatu perusahaan melalui pengambilan kebijakan yang tepat.
Berdasarkan beberapa fakta tersebut, tidak heran jika sebagian besar peneliti tertarik untuk mengetahui hal apa saja yang dapat mempengaruhi suatu variabel yang dianggap penting. Pemodelan matematis dengan menggunakan teknik statistika tertentu merupakan alternatif yang dapat dipakai untuk menangani permasalahan di atas. Regresi linear adalah salah satu metode yang telah banyak dipakai dalam kasus seperti di atas. Pemodelan yang ditemukan oleh Francis Galton ini, berfokus pada pengukuran pengaruh dari variabel yang diduga memberikan pengaruh (red: prediktor) dengan variabel yang dipengaruhi (red: respon).
Contohnya untuk mengukur variabel kinerja seorang pegawai yang diduga dipengaruhi oleh beberapa faktor seperti lama kerja seseorang, pengalaman kerja seseorang, motivasi kerja, dan budaya kerja. Metode pemodelan ini cukup populer dipakai karena praktis, dan selain itu telah banyak software statistik bertipe GUI (Graphic User Interface) yang menyediakan proses perhitungannya secara otomatis, sehingga peneliti tidak perlu repot- repot untuk menuliskan suatu syntax seperti pada software bertipe CLI (Command Line Interface).
Jenis regresi linier juga mengalami pengembangan. Regresi linear hanya dapat mengetahui pengaruh langsung dari suatu variabel terhadap variabel lain namun tidak dapat mengetahui pengaruh tidak langsung variabel terhadap variabel lainnya, sehingga berkembanglah regresi intervening. Pengaruh dari suatu variabel apakah dapat memperkuat atau sebaliknya pada kedua variabel dapat diketahui dengan menggunakan regresi moderating.
Namun regresi hanya dapat dipakai saat variabel – variabelnya terukur secara langsung, ketika terdapat beberapa variabel yang tidak dapat diukur secara langsung (red : variabel konstruk / laten), maka penggunaan metode SEM (Struktural Equation Modelling) lebih tepat untuk dipakai. Variabel motivasi adalah contoh dari variabel laten. Pengukuran motivasi harus diukur menggunakan beberapa indikator lainnya, berbeda dengan variabel lama kerja yang dapat terukur secara langsung. Tidak jauh berbeda dengan regresi, SEM juga mengalami pengembangan dengan adanya SEM intervening dan SEM moderating.
Penggunaan metode statistika tentu harus disesuaikan dengan karakteristik data serta tujuan dari penelitian, oleh sebab itu pemilihan metode yang tepat menjadi suatu keharusan dalam penelitian, sehingga hasil penelitian dapat mendekati dengan fenomena sesungguhnya. Pemilihan metode yang tepat juga harus didasari dengan pemahaman konsep pada metode tersebut. Misalnya untuk SEM, merupakan jenis teknik pemodelan confirmatory analysis. Model ini tidak digunakan untuk membangun sebuah model baru tanpa dasar teori yang sudah ada sebelumnya. Modifikasi didalam model SEM harus dilakukan sesuai dengan teori yang mendasarinya.
Selanjutnya asumsi-asumsi yang terdapat pada setiap metode juga harus menjadi perhatian peneliti sebelum memilih metode tersebut. Sebagai contoh pada model regresi, terdapat beberapa asumsi yang harus diperhatikan sehingga hasil pemodelan dianggap valid, yaitu asumsi residual IIDN (Identik, Independen, dan Berdistribusi normal). Asumsi kenormalan residual adalah salah satu asumsi yang sering kali tidak terpenuhi pada beberapa data, khususnya data-data ekonomi.
Kriteria ini menjelaskan seberapa besar pengaruh dari variabel prediktor terhadap variabel respon yang dijelaskan di dalam model tersebut. Dalam buku Drapper N Smith yang berjudul Applied Regression Analysis, tidak ada ketentuan berapa nilai minimum kriteria model yang baik berdasarkan nilai R-square. Semua metode statistika yang berkaitan dengan pengujian hipotesis berbasis pada teori probabilitas, sehingga sangatlah wajar jika hasil pemodelan tidak akan mungkin sama persis dengan kenyataan sebenarya, namun minimal tidak memiliki perbedaan yang terlalu jauh.
Oleh sebab itu di dalam pemodelan statistika terdapat tingkat kepercayaan yang harus ditentukan oleh peneliti. Tingkat kepercayaan dihitung dari 1-a, jika peneliti menentukan nilai a sebesar 5%, maka tingkat kepercayaan untuk penelitiannya sebesar 95%. Semakin tinggi tingkat kepercayaan terhadap suatu penelitian, maka penelitian tersebut akan semakin valid, namun kenyataanya tidak mudah juga untuk melakukan penelitian dengan tingkat ketelitian sampai dengan 99%. Sampai saat ini, tidak ada ketentuan khusus berapa tingkat kepercayaan yang harus dipakai oleh suatu penelitian. Beberapa jurnal nasional dan internasional seringkali menggunakan tingkat kepercayaan mulai dari 90% – 95%.
Model adalah simplifikasi atau penyederhanaan fenomena – fenomena nyata dalam bentuk persamaan maupun pertidaksamaan matematika. Maka seharusnya peneliti dapat membangun model yang dapat merepresentasikan dengan fenomena sebenarnya. Pemilihan model terbaik perlu dilakukan sebelum menetapkan model yang akan dipakai sebagai alternatif penyelesaian pada suatu kasus. Pemilihan model terbaik dapat dilakukan dengan menggunakan beberapa indikator kriteria. Jika indikator untuk regresi salah satunya adalah R-square, maka indikator untuk pemodelan SEM adalah kriteria Goodness of Fit. Dalam pemodelan regresi, untuk memperoleh model terbaik dapat dilakukan dengan beberapa cara seperti backwise, stepwise, forward, dll.
Beberapa cara tersebut sudah tersedia pada menu-menu di beberapa software statistika, jadi peneliti dapat langsung mendapatkan model terbaik dengan cara membandingkan beberapa kriteria seperti R-square, Cp mallow, dan residual mean square dari beberapa model yang telah dibuat. Model terbaik yang dipilih adalah model yang memiliki R-square paling besar, cp mallow yang nilainya mendekati jumlah variabel prediktor, dan residual mean square terkecil. Pada pemodelan SEM, terdapat beberapa kriteria Goodness of Fit yang dapat dipilih. Model terbaik dapat diperoleh dari proses modifikasi, yang tentu saja masih berdasarakan teori yang mendasarinya.