Argghhh....super huge data!!!

Ternyata sebulan cepet sekali berlalu. tapi TA ku bagaikan kereta yang kehabisan bahan bakar (a elah...:p), masih dikit banget progressnya. Minggu ini aku kudu ngumpulin data-data geografis untuk dibikin gazetteers yang bakal dipake untuk GIR ku nanti. The first source came from Monic. data yang didapet dari GeoWorldMap tersebut cukup lengkap juga, ada info2 geografis seperti koordinat, populasi dsb. Tapi..ternyata datanya hanya mencakup sampai ibukota2 provinsi doank. sementara kota2 lainnya seperti Tegal, Brebes, Cirebon dsb belom tercantum!! hiks..

Finally, dapet lagi sumber dari NGA (dari militernya Amrik gitu deh...). datanya super lengkap abizzz!!! sampe kecamatan2 pun masuk! parahnya...saking gedenya tuh data (200M compressed dan setelah diekstrak jadi 700M!!!), dibuka pake editplus ga bisa...pake Notepad apalagi!! fiuuhh....pake apa donkz???? nyoba pake IE, bisa sih...sedikit demi sedikit. Tapi, aplikasi yang laen jadi error semua! sampe2 kudu ngerestart Kompie dulu...huhuhuu..

Akhirnya dapet ide lagi. aku import data tersebut ke database and 5-jutaan rows inserted!!!! wakksss...jauh lebih buanyak dari data SIAK NG...:((
dan buat ngejalanin satu query aja, butuh waktu lebih dari 3 menit!! arrgghhh...gimana donkz ngerjainnya...
eeeiiittt.....itu masih excluding USA lhoo...(tau nih...kayaknya datanya sengaja ga dimasukkin sama militan Amrik)!! waduuhh..ntar jadi berapa banyak yah datanya.....

Ganbarru!!!!