Arifiye'yi anlatırken Adapazarı ile ilişkilendirmek gerekmektedir. Bölgemiz Geç Roma ve Bizans dönemlerinde Bitinya adıyla anılan bölgenin içinde kalmaktaydı. Bölgemiz hiçbir zaman büyük yerleşimlere sahne olmamıştır. Sapanca Gölünün baharda kabarması ve Sakarya Nehrinin sıkça yatak değiştirmesi kalıcı bir yerleşime imkan tanımamıştır. Kalıcı yerleşim ancak Geç Roma dönemiyle Bizans dönemlerinde olmuştur. Bizans İmparatorluğunun sınırları içinde kalan ve tarihi İpek Yolunun üzerinde bulunan beldemiz, Bizansın başkenti İstanbul'u almak isteyen bir çok ulusun gelip geçtiği güzergah durumundaydı. Bölge 7. ve 9. yüzyılda Arapların ve Perslerin saldırılarına, 944 yılında da Rusların saldırılarına uğramıştır. Bizans kendini doğudan gelecek saldırılardan korumak için bölgede ordu kurmuştur. Bitinya denilen bölgemiz Avrupa'dan gelen orduların toplanma bölgesiydi. Ordunun ahırları burada bulunur ve atlar bölgedeki otlaklarda bakılırdı. Bizans ordusu sefere çıkacağında toplanan kuvvetler Bitinya bölgesinde buluşurdu. 1071 yılında Anadolu'ya ayak basan Türkler 1074 yılında Bitinya'ya ulaşmıştır. Bu tarihlerde içinde bulunduğumuz bölge sıkça el değiştirmiştir. Anadolu Selçuklu devletini kuran Süleyman Şahın yerine geçen Ebu'l Kasım 1081'de İzmit'e kadar uzanan Bitinya bölgesini ele geçirmiştir. Bizans İmparatoru Alexios ülkesinin doğu sınırlarını korumak ve Türkleri bölgeden uzaklaştırmak için 1095 yılında Sapanca Gölünün doğusunda bir kale yaptırmıştır. Adliye Köyü sınırlarında halen kalıntıları mevcuttur. 1097 yılında bölgemiz Haçlı seferlerine güzergah olmuştur. 13. yy. ortalarındaki Moğol istilasında Türk Kabileleri Bizans sınırlarına doğru sürülmüştür. 1260 yılında Türkler Sakarya Nehri (Sangarius)'nin doğusunu ele geçirmiştir. 1299 yılında Osmanlı Devleti kurulunca Osmanlılar doğudan değil, güneyden Sakarya nehri boyunca ilerleyip bugün varlığına pek rastlanmayan kaleleri ve manastırları kullanılamaz hale getirerek içinde yaşadığımız bölgeyi ele geçirmişlerdir (yaklaşık 1326 yılı). Bitinya denen bölgemiz düzlüğü ve bolca otlaklarının olması nedeniyle göçebe yaşayan Türkmen halkının yerleşik düzen için aradığı ideal bir ortam idi. Batısında Sapanca Gölü, kuzeyinde Çark Deresi beldemizin su yönünden bir zenginliği olarak göze çarpmaktadır.
Arifiye'nin tarihi İpek Yolu üzerinde kalması sebebiyle diğer ulaşım yolları da bu güzergahtan geçmiştir. Eski Ankara-İstanbul karayolu 1963 yılına kadar beldemizin içinden geçmekteydi. TEM Otoyolu da 1987 yılında beldemizden geçirilmiştir. 1887 yılında tamamlanan İstanbul-Bağdat demiryolu da beldemizden geçmektedir. 1899 yılında Adapazarı-Arifiye yolu hizmete girdiğinde beldemiz tam bir kavşak noktası, dolayısı ile Anadolu'ya açılan bir kapı konumuna gelmiştir.
Yakın tarihimize baktığımızda, 1954 yılına kadar Adapazarı İzmit iline bağlı bir kasaba olduğundan Arifiye'de Sapanca'ya bağlı bir nahiye idi. Cumhuriyetin ilk yıllarında Arifiye'ye yerleşen Osmanlı göçebeleri ile nüfus mübadeleleri sonucu Kafkaslardan Müslüman Gürcü, Abaza ve Çerkesler, Balkanlardan Müslüman Arnavut, Boşnak ve ayrıca Bulgaristan, Romanya ve Kırım'dan gelen soydaşlarımızın yerleştiği zengin bir insan ve kültür mozaiği oluşmuştur. Bölgede zenginliği ve yardımseverliğiyle anılan Arif Beyin adı 1850 yıllarında beldemize verilerek köyün adı Arifiye olmuştur. 1956 yılında Arifiye ve Kalaycı mahallelerinin birleşmesi ile Arifiye Belediyesi kurulmuştur.
1940 yılında açılan Arifiye Köy Enstitüsü ve Arifiye Topçu Alayı (bugün Tank Palet Fabrikası olarak hizmet vermektedir) beldemizin tanınmasında büyük etken olmuşlardır. Köy Enstitüsünün temel inşaatında çalışan merhum Malik Aydınlı'dan edindiğimiz bilgiye göre, inşaat bölgesinde eski bir mezarlığın olduğu söylenmiştir. Bundan da anlaşılıyor ki bölgede çok eski bir yerleşim bulunmaktaydı.
1956 yılından itibaren 2000 yılına kadar Belde Belediyesi olarak hizmet vermiştir.
2000 yılından itibaren 2008 yılına kadar da Sakarya Büyükşehir Belediyesine bağlı alt kademe Belediye olarak kalmıştır.
Arifiyemiz, 22.03.2008 gün ve 26824 Sayılı Resmi Gazetede yayımlanarak yürürlüğe giren 5747 Sayılı Büyükşehir Belediyesi Sınırları İçerisinde İlçe Kurulması ve Bazı Kanunlarda Değişiklik Yapılması Hakkında Kanunla Hanlı ve Nehirkent Beldelerinin Belediye Tüzel kişiliklerinin kaldırılarak Arifiye'ye bağlanması ile ilçe olmuştur.