Komputer / workstation sebagai bagian dari suatu jaringan komputer, masing-masing mungkin memiliki aturan, teknologi, dan kemampuan sendiri. Seiring dengan perkembangan teknologi dan servis layanan, masing-masing workstation akan berkembang sesuai vendor hardware dan software apllikasi. Bukan hanya workstation saja yang berkembang, dari teknologi akses dan media transmisi juga ikut berkembang. Dari sini akan terlihat bahwa jaringan komputer harus dapat berkembang dinamis dengan mudah beradaptasi dengan perkembangan teknologi pembangunnya dan perubahan tuntutan aplikasi. Hal ini menjadikan perancangan jaringan bukan hal yang mudah. Untuk menghadapi kerumitan ini, para perancang jaringan telah membangun suatu pola umum –biasanya dikenal dengan istilah arsitektur jaringan yang memandu perancangan sistem dan implementasi jaringan.

           Saat suatu sistem menjadi sedemikian kompleks, maka perancang sistem akan menggunakan level abstraksi yang lain. Ide di balik abstraksi ini adalah untuk mendefinisikan suatu model yang mewakili aspek-aspek penting dari sistem, membungkus (encapsulate) model tersebut dalam suatu objek dan menyediakan antar muka (interface) untuk saling berkomunikasi. Suatu tantangan yang harus dihadapi adalah menemukan abstraksi yang dapat digunakan dalam segala macam situasi sekaligus dapat diimplementasikan dengan efisien menjadi sebuah sistem.

                 Abstraksi secara alami membawa pada ide layering, terutama dalam sistem jaringan. Ide dasarnya adalah sebagai berikut : segalanya dimulai dari layanan yang ditawarkan oleh perangkat keras, kemudian ditambahkan layer demi layer diatasnya dengan masing-masing menawarkan level layanan yang lebih tinggi (dan semakin abstrak). Layanan (service) yang disediakan oleh suatu layer diimplementasikan dengan memanfaatkan layanan dari layer dibawahnya. Dari penjelasan tentang kebutuhan (requirement) pada bagian sebelumnya, maka jaringan dapat dibayangkan sebagai dua layer yang diapit oleh layer aplikasi diatas dan layer perangkat keras (hardware) dibawah. Layer hubungan host-ke-host yang tepat berada diatas layer perangkat keras memberikan abstraksi yang menutupi kerumitan topologi jaringan yang menghubungkan antar host. Layer diatasnya dibangun diatas layanan hubungan host-ke-host yang telah terbentuk dan menyediakan dukungan terhadap kanal proses-ke-proses, memberikan abstraksi yang menutupi kenyataan yang terjadi di jaringan (contoh : kemungkinan hilangnya message).

Skema layering menyediakan dua keuntungan, yaitu :

              Dengan bekal konsep layering ini, berikutnya akan dijelaskan lebih detail tentang arsitektur jaringan. Sebagai permulaan, objek abstrak penyusun layer dalam sistem jaringan disebut dengan protocol. Protokol menyediakan layanan komunikasi yang dapat digunakan oleh objek-objek pada level yang lebih tinggi (proses aplikasi atau protokol lain yang levelnya lebih tinggi) untuk saling bertukar message. Sebagai contoh, protokol request/reply akan berkoresponden dengan kanal request/reply, sementara protokol message stream berkoresponden dengan kanal message stream.

Tiap protokol mendefinisikan dua antar muka (interface), yaitu :

            Kecuali pada level perangkat keras, dimana entitas di suatu komputer dapat berkomunikasi langsung dengan peer-nya lewat link fisik, komunikasi peer-to-peer dilakukan secara tidak langsung. Tiap protokol berkomunikasi dengan peer-nya dengan melewatkan message ke protokol (objek) di level bawahnya yang akan mengirimkan message tersebut ke peer-nya sendiri. Hal ini terjadi secara rekursif sampai message benar-benar dikirimkan oleh perangkat keras.

           Istilah protokol seringkali digunakan untuk mengacu pada dua pengertian. Kadangkala digunakan untuk menyebut antar muka abstrak (yakni operasi-operasi yang didefinisikan dengan service interface dan format message yang dipertukarkan antar peer), namun kadang juga digunakan untuk menyebut modul yang secara aktual mengimplementasikan kedua antar muka tersebut. Untuk membedakannya, digunakan istilah protocol specification untuk menyebut definisi antar muka. Spesifikasi umumnya diekspresikan dengan menggunakan pseudocode, state transition diagram, gambar format packet dilengkapi dengan kalimat penjelas dan notasi abstrak lainnya. Dengan demikian, suatu spesifikasi protokol dapat saja diimplementasikan dengan cara yang berlainan, asal masih tetap sesuai dengan spesifikasinya. Tantangan yang timbul disini adalah menjamin bahwa implementasi yang berbeda dari satu spesifikasi protokol yang sama harus dapat saling berkomunikasi (terjaminnya interoperatibility).

             Badan standarisasi internasional, seperti IETF (Internet Engineering Task Force) dan ISO (International Standard Organization) telah menyusun kebijakan dalam penyusunan protocol graph untuk mengeliminasi kemungkinan tiap jaringan memiliki protocol graph-nya sendiri. Kumpulan aturan tentang format dan isi dari protocol graph disebut sebagai arsitektur jaringan (network architecture). Badan standarisasi tersebut telah menyusun suatu prosedur untuk membangun, melakukan validasi dan menyetujui penggunaan protokol pada arsitekturnya masing-masing.

          Pada akhir tahun  muncul protokol TCP/IP yang merupakan standard de facto dalam komunikasi data. TCP/IP meringkas beberapa layer dalam OSI layers menjadi empat layer standard.