Valmentajanvaihdos ja rannemurtuma
Australian avoimissa 2003 Nieminen voitti ensimmäisellä kierroksella Nikolai Davydenkon ja toisella Jevgeni Kafelnikovin, mutta hävisi kolmannella kierroksella Guillermo Corialle. Australian avointen jälkeen hän pelasi Milanon ATP-turnauksen välierissä. Münchenin BMW Openissa hän selviytyi loppuotteluun, mutta hävisi sen Roger Federerille. Ranskan avoimissa hän voitti kolmannella kierroksella Victor Hănescun, mutta hävisi neljännellä kierroksella Fernando Gonzálezille. Wimbledonissa hän hävisi kolmannella kierroksella Olivier Rochusille. Heinäkuun lopulla Nieminen lopetti seitsemän vuotta kestäneen yhteistyön Henrik Johansénin kanssa, ja hänen uudeksi valmentajakseen tuli Fredrik Rosengren. Yhdysvaltain avoimissa Nieminen hävisi toisella kierroksella David Nalbandianille. Bangkokin ATP-turnauksen puolivälierissä hän voitti entisen maailmanlistan ykkösen Carlos Moyàn, mutta hävisi välierissä Taylor Dentille.
Tammikuussa 2004 Nieminen selviytyi välieriin Adelaiden ATP-turnauksessa, mutta Australian avoimissa hän putosi jo toisella kierroksella. Maaliskuussa hän pelasi Dubain ATP-turnauksen välierissä. Monte Carlo Masters -turnauksen avauskierroksella Nieminen kaatui oikean ranteensa päälle saaden luunmurtuman. Nieminen palasi takaisin kentille heinäkuun alussa Swedish Openissa, Båstadissa. Osallistuessaan Ateenan olympialaisiin Nieminen ei ollut täysin palautunut rannevammastaan ja putosi jo toisella kierroksella. Yhdysvaltain avoimista Nieminen tippui avauskierroksella. Pekingin China Openissa hän hävisi välierissä. Lokakuun lopulla Niemisen ja hänen valmentajansa Fredrik Rosengrenin yhteistyö päättyi. Valmennussuhteen aikana Rosengren pyrki kehittämään Niemisen aggressiivisuutta ja itseluottamusta tiukoissa peleissä.
Tammikuussa 2005 Nieminen joutui luovuttamaan Australian avointen kolmannella kierroksella ottelunsa Roger Federerille vatsalihasten kipeydyttyä. Huhtikuussa Nieminen pääsi Münchenin ATP-turnauksen välieriin. Ranskan avoimissa Nieminen kukisti yhden maineikkaimmista pelaajista, kun hän voitti maailmanlistan seitsemänneksi sijoitetun ja entisen maailmanlistan ykkösen Andre Agassin 7–5, 4–6, 6–7, 6–1, 6–0. Toisella kierroksella Nieminen hävisi Igor Andrejeville. Touko–kesäkuun vaihteessa hän voitti Prostějovin ATP-haastajaturnauksen. Wimbledonissa Nieminen hävisi ensimmäisellä kierroksella Tim Henmanille viidessä erässä. Hän pääsi välieriin Mercedes Cupissa Stuttgartissa. Yhdysvaltain avoimissa hän selviytyi puolivälieriin saakka voitettuaan kolmannella kierroksella Maks Mirnyn ja neljännellä kierroksella Fernando Verdascon. Puolivälierissä hän hävisi Lleyton Hewittille viidessä erässä lukemin 6–2, 1–6, 6–3, 3–6, 1–6. Syksyllä hän pelasi vielä Bangkokin ja Tokion ATP-turnausten välierissä.
Uransa ensimmäisen ATP-turnausvoittonsa Nieminen saavutti 14. tammikuuta 2006 Aucklandin Heineken Openissa. Loppuottelussa hän voitti kroatialaisen Mario Ančićin lukemin 6–2, 6–2. Voitto oli kaikkien aikojen ensimmäinen suomalaisen tennispelaajan saavuttama ATP-turnausvoitto kaksinpelissä. Kevään aikana Nieminen selviytyi Rotterdamin ja Münchenin ATP-turnausten välieriin ja Indian Wells Masters -turnauksen puolivälieriin. Ranskan avoimissa Nieminen oli sijoitettu 16. sijalle. Avauskierroksella hän joutui kuitenkin luovuttamaan kolmannessa erässä vatsavaivojen takia kesken ottelun Raemon Sluiteria vastaan. Nieminen pääsi puolivälieriin Wimbledonin turnauksessa niukalla voitolla Dmitri Tursunovista lukemin 7–5, 6–4, 6–7(2), 6–7(6), 9–7. Ottelun aikana tapahtuneesta mailan maahan heitosta hän sai 1000 dollarin sakot. Puolivälierissä Nieminen hävisi Rafael Nadalille suoraan kolmessa erässä 6–3, 6–4, 6–4. Hän saavutti uransa korkeimman ATP-maailmanlistan sijoituksensa 10. heinäkuuta noustuaan ATP-maailmanlistalla 13:nneksi.[ Wimbledonin jälkeisellä viikolla hän pääsi Båstadin ATP-turnauksen välieriin. Elokuussa hän pelasi Canada Masters -turnauksen puolivälierissä. Tukholman avoimissa Nieminen pääsi loppuotteluun, mutta hävisi James Blakelle suoraan kahdessa erässä. Loka–marraskuun vaihteessa hän selviytyi vielä Paris Masters -turnauksen puolivälieriin.
Jarkko Kalervo Nieminen on ammattilaisuransa lopettanut suomalainen tennispelaaja. Nieminen sijoittui parhaimmillaan ATP-maailmanlistalla kaksinpelissä sijalle 13 heinäkuussa 2006 ja nelinpelissä sijalle 42 tammikuussa 2008.