Jabatan Pertanian telah ditubuhkan dalam tahun 1905. Tugas utama Jabatan Pertanian pada masa itu adalah untuk melaksanakan dasar-dasar pertanian yang telah digariskan oleh kerajaan. Di bawah panduan Jabatan Pertanian beberapa Enakmen telah diluluskan untuk mempercepatkan pembangunan dan pemeliharaan hak-hak tanah. Ini termasuk yang bersangkutan dengan (1) Pemansuhan buruh berkontrak, (2) Mengkhususkan tanah untuk kaum bumiputra, (3) Penyekatan kemasukan musuh-musuh yang merbahaya, dan (4) Pemberian tanah kurang daripada 10 ekar kepada petani-petani sejati bagi tujuan bertani.
Di dalam Perjanjian Persekutuan Malaysia (1974), selaras dengan penubuhan kerajaan-kerajaan negeri, peruntukan telah juga dibuat bagi membolehkan penubuhan Jabatan Pertanian Negeri di tiap-tiap negeri. Jabatan Pertanian di setiap negeri telah dipertanggungjawabkan untuk melaksanakan program pengembangan bagi memajukan sektor pekebun kecil.
Di peringkat awalnya, usaha Jabatan pertanian tertumpu hanya kepada penyelidikan tanaman, menyediakan pakar-pakar teknikal kepada pengusaha-pengusaha ladang, dan perkhidmatan pengembangan kepada pekebun-pekebun kecil. Walaupun Jabatan Pertanian bertanggungjawab memajukan semua tanaman ekonomi yang berpotensi, Jabatan juga turut menjalankan aktiviti penting iaitu membangunkan perusahaan getah. Bagaimanapun, menyedari adanya peningkatan permintaan dari industri getah, kerajaan merasakan perlu diletakkan aktiviti penyelidikan getah ini dibawah satu bumbung yang berasingan. Dengan itu Institut Penyelidikan Getah Malaya (RRIM) telah ditubuhkan dalam tahun 1926.
Selepas negara mencapai kemerdekaan dalam tahun 1957, Jabatan pertanian telah berkembang dengan pesat dan diperkukuhkan. Ia terlibat sepenuhnya dalam bidang penyelidikan, menyediakan khidmat pengembangan dan pemasaran serta pembangunan pertubuhan-pertubuhan peladang. Bagaimanapun, dengan tertubuhnya Lembaga Pemasaran Pertanian Persekutuan – FAMA (1965), Institut penyelidikan dan Pembangunan Pertanian – MARDI (1970), Lembaga Pertubuhan Peladang – LPP (1973), Jabatan Pertanian telah disusun semula dan menumpukan peranannya dalam memberikan khidmat pengembangan terutamanya kepada petani-petani.