مثالی از داده کاوی و تحلیل گراف خطوط هوایی شبکه جهانی حمل و نقل

در این پست یک تحلیل و بصری سازی خوب از گراف 60،000 پرواز در بین 3,275 فرودگاه جهان توسط 531 خطوط هوایی در 37،153 مسیر یکتا همراه با تحلیل خوشه بندی و تشخیص Centerality ارائه شده است. هر نود نشان دهنده یک فرودگاه است و اندازه گره نشان دهنده تعداد مسیرهای پرواز (مجموع 37153 مسیر) بر اساس داده های OpenFlights.org است.

نقشه برداری اتصالات بین تمام فرودگاه ها در سراسر جهان، تمرین تجسم شبکه سرگرم کننده است. این پست (که ممکن است به دنبال آزمایش های بیشتری در این زمینه باشد) تلاش برای ایجاد شبکه حمل و نقل هوایی است. ساختار روابط تأثیری بر توزیع فضایی گره ها در یک گراف دارد. بیایید ببینیم چگونه این چشم انداز بدون محدودیت جغرافیایی مجددا ترسیم می شود.

این “نقشه” نتیجه استفاده از یک الگوریتم بصری سازی force-directed layout بر اساس یک نمودار از فرودگاه های 3،275 است (37،153 راه واحد – مجموع وزن بیشتر است چرا که بسیاری از خطوط هوایی همان مسیر را دارند) بر اساس داده های OpenFlights.org. به طور طبیعی، جغرافیای شبکه به طور کامل متلاشی نشده است: قاره ها عمدتا قابل مشاهده هستند و مناطق به طور کلی در موقعیت اصلی خود هستند (به استثنای جزایر اقیانوس آرام که آسیا و آمریکا را به هم متصل می کنند، این نمودار را در سه بعد تصور کنید، با اقیانوس آرام پشت سر).  مشاهدات عمده: کشور هند بیشتر به خاورمیانه متصل است تا جنوب و شرق آسیا. خوشه روسیه بسیار قابل مشاهده است، اتصال فرودگاه ها در روسیه، بلکه در بسیاری از جمهوری های سابق شوروی. آمریكای لاتین به وضوح بین خوشه ی جنوبی و خوشه ی مرکزی آمریكا كه بسیار با یكدیگر ارتباط دارد، تقسیم می شود.

طرح طراحی شده الگوریتم بصری سازی force-directed layout، نودها یا گره های گراف را از هم جدا می کند، بنابراین گره های همپوشانی وجود ندارد. کدگذاری رنگ یک طیف رنگی بر اساس طول جغرافیایی است و عموما گروهی از فرودگاه را از همان قاره با هم دسته بندی می کند. تعداد کل پروازهای بسیار بیشتر از تعداد مسیرها است، زیرا بسیاری از خطوط هوایی همان مسیرها را دارند. ما میتوانیم ببینیم که خطوط اتصال با تعداد پرواز هایی که همان مسیر را می گذارند وزن بیشتری دارند و پررنگ تر هستند.

 گراف خطوط هوایی شبکه جهانی حمل و نقل را می توانید در ادامه دانلود کنید.

دانلود Fligth Route dataset www.bigdata-ir.com

در شکل زیر شما می توانید نقشه اصلی را با نودهایی که به لحاظ جغرافیایی دقیقا در آن قرار دارد مشاهده کنید، اما با وجود همپوشانی گره ها یا فرودگاه هایی که  نزدیک به یکدیگر قرار دارند.

در شکل زیر GIF متحرک  از تغییرات از طرح جغرافیایی به بصری سازی force-directed layout را مشاهده می کنید.

منبع:

http://coolinfographics.com/blog/tag/network

https://flightaware.com/live/

آدرس کانال تلگرام سایت بیگ دیتا:

t.me/bigdata_channel

آدرس کانال سروش ما:
https://sapp.ir/bigdata_channel

جهت دیدن سرفصل های دوره های آموزشی بر روی اینجا کلیک کنید.

 

بخشی از محتوای فایل:

 

https://openflights.org/data.html
——————————————————————————————————-
As of January 2012, the OpenFlights/Airline Route Mapper Route Database contains 59036 routes between 3209 airports on 531 airlines spanning the globe, as shown in the map above. Each entry contains the following information:

– Airline 2-letter (IATA) or 3-letter (ICAO) code of the airline.
– Airline ID Unique OpenFlights identifier for airline (see Airline).
– Source airport 3-letter (IATA) or 4-letter (ICAO) code of the source airport.
– Source airport ID Unique OpenFlights identifier for source airport (see Airport)
– Destination airport 3-letter (IATA) or 4-letter (ICAO) code of the destination airport.
 – Destination airport ID Unique OpenFlights identifier for destination airport (see Airport)
– Codeshare “Y” if this flight is a codeshare (that is, not operated by Airline, but another carrier), empty otherwise.
– Stops Number of stops on this flight (“0” for direct)
– Equipment 3-letter codes for plane type(s) generally used on this flight, separated by spaces

The data is ISO 8859-1 (Latin-1) encoded. The special value \N is used for “NULL” to indicate that no value is available, and is understood automatically by MySQL if imported.

Notes:
Routes are directional: if an airline operates services from A to B and from B to A, both A-B and B-A are listed separately.
Routes where one carrier operates both its own and codeshare flights are listed only once.
Sample entries
BA,1355,SIN,3316,LHR,507,,0,744 777
BA,1355,SIN,3316,MEL,3339,Y,0,744
TOM,5013,ACE,1055,BFS,465,,0,320
Route maps for airports and airlines can be viewed by searching for their names or code in the website’s Search box; alternatively, check out the alphabetical list of all covered airports and airlines.
————————————————————————————————————————————

2B,410,AER,2965,KZN,2990,,0,CR2
2B,410,ASF,2966,KZN,2990,,0,CR2
2B,410,ASF,2966,MRV,2962,,0,CR2
2B,410,CEK,2968,KZN,2990,,0,CR2
2B,410,CEK,2968,OVB,4078,,0,CR2
2B,410,DME,4029,KZN,2990,,0,CR2
2B,410,DME,4029,NBC,6969,,0,CR2
2B,410,DME,4029,TGK,\N,,0,CR2
2B,410,DME,4029,UUA,6160,,0,CR2
2B,410,EGO,6156,KGD,2952,,0,CR2
2B,410,EGO,6156,KZN,2990,,0,CR2
2B,410,GYD,2922,NBC,6969,,0,CR2
2B,410,KGD,2952,EGO,6156,,0,CR2
2B,410,KZN,2990,AER,2965,,0,CR2
2B,410,KZN,2990,ASF,2966,,0,CR2
2B,410,KZN,2990,CEK,2968,,0,CR2
2B,410,KZN,2990,DME,4029,,0,CR2
2B,410,KZN,2990,EGO,6156,,0,CR2
2B,410,KZN,2990,LED,2948,,0,CR2
2B,410,KZN,2990,SVX,2975,,0,CR2
2B,410,LED,2948,KZN,2990,,0,CR2
2B,410,LED,2948,NBC,6969,,0,CR2
2B,410,LED,2948,UUA,6160,,0,CR2
2B,410,MRV,2962,ASF,2966,,0,CR2
2B,410,NBC,6969,DME,4029,,0,CR2
2B,410,NBC,6969,GYD,2922,,0,CR2
2B,410,NBC,6969,LED,2948,,0,CR2
2B,410,NBC,6969,SVX,2975,,0,CR2
2B,410,NJC,2972,SVX,2975,,0,CR2
2B,410,NJC,2972,UUA,6160,,0,CR2
2B,410,NUX,4364,SVX,2975,,0,CR2
2B,410,OVB,4078,CEK,2968,,0,CR2
2B,410,OVB,4078,SVX,2975,,0,CR2
2B,410,SVX,2975,KZN,2990,,0,CR2
2B,410,SVX,2975,NBC,6969,,0,CR2
2B,410,SVX,2975,NJC,2972,,0,CR2
2B,410,SVX,2975,NUX,4364,,0,CR2
2B,410,SVX,2975,OVB,4078,,0,CR2
2B,410,TGK,\N,DME,4029,,0,CR2
2B,410,UUA,6160,DME,4029,,0,CR2
2B,410,UUA,6160,LED,2948,,0,CR2
2B,410,UUA,6160,NJC,2972,,0,CR2
2G,1654,BTK,2936,IKT,2937,,0,A81
2G,1654,BTK,2936,OVB,4078,,0,A81
2G,1654,CEK,2968,OVB,4078,,0,A81
2G,1654,HTA,2935,IKT,2937,,0,AN4
2G,1654,IKT,2937,BTK,2936,,0,A81
2G,1654,IKT,2937,HTA,2935,,0,AN4
2G,1654,IKT,2937,KCK,\N,,0,AN4
2G,1654,IKT,2937,ODO,8944,,0,AN4
2G,1654,IKT,2937,OVB,4078,,0,A81
2G,1654,IKT,2937,UKX,6924,,0,AN4
2G,1654,IKT,2937,ULK,9026,,0,AN4
2G,1654,IKT,2937,YKS,2923,,0,A81
2G,1654,KCK,\N,IKT,2937,,0,AN4
2G,1654,MJZ,2925,OVB,4078,,0,A81
2G,1654,ODO,8944,IKT,2937,,0,AN4
2G,1654,OVB,4078,BTK,2936,,0,A81
2G,1654,OVB,4078,CEK,2968,,0,A81
2G,1654,OVB,4078,IKT,2937,,0,A81
2G,1654,UKX,6924,IKT,2937,,0,AN4
2G,1654,ULK,9026,IKT,2937,,0,AN4
2G,1654,YKS,2923,IKT,2937,,0,A81
2I,8359,AYP,2786,LIM,2789,,0,142
2I,8359,CUZ,2812,LIM,2789,,0,142 141
2I,8359,CUZ,2812,PEM,2808,,0,142
2I,8359,HUU,6067,LIM,2789,,0,141
2I,8359,IQT,2801,PCL,2781,,0,143
2I,8359,IQT,2801,TPP,2806,,0,142
2I,8359,LIM,2789,AYP,2786,,0,142
2I,8359,LIM,2789,CUZ,2812,,0,142 141
2I,8359,LIM,2789,HUU,6067,,0,141
2I,8359,LIM,2789,PCL,2781,,0,143 146
2I,8359,LIM,2789,TPP,2806,,0,142 146
2I,8359,PCL,2781,IQT,2801,,0,143
2I,8359,PCL,2781,LIM,2789,,0,143 146
2I,8359,PCL,2781,TPP,2806,,0,146
2I,8359,PEM,2808,CUZ,2812,,0,142
2I,8359,TPP,2806,IQT,2801,,0,142
2I,8359,TPP,2806,LIM,2789,,0,142 146
2I,8359,TPP,2806,PCL,2781,,0,146
2J,470,ABJ,253,BOY,247,,0,CRJ
2J,470,ABJ,253,OUA,246,,0,E70 CRJ M87
2J,470,ACC,248,OUA,246,,0,CRJ
2J,470,BKO,1044,ABJ,253,,0,M87
2J,470,BKO,1044,DKR,1084,,0,M87
2J,470,BKO,1044,OUA,246,,0,CRJ
2J,470,BOY,247,ABJ,253,,0,CRJ
2J,470,BOY,247,OUA,246,,0,CRJ
2J,470,COO,245,LFW,298,,0,M87
2J,470,COO,245,OUA,246,,0,M87
2J,470,DKR,1084,BKO,1044,,0,M87
2J,470,DKR,1084,OUA,246,,0,M87
2J,470,LFW,298,OUA,246,,0,M87 CRJ
2J,470,NIM,280,OUA,246,,0,CRJ
2J,470,OUA,246,ABJ,253,,0,E70 CRJ M87
2J,470,OUA,246,ACC,248,,0,CRJ
2J,470,OUA,246,BKO,1044,,0,M87 CRJ
2J,470,OUA,246,BOY,247,,0,CRJ
2J,470,OUA,246,COO,245,,0,M87
2J,470,OUA,246,DKR,1084,,0,M87
2J,470,OUA,246,LFW,298,,0,CRJ
2J,470,OUA,246,NIM,280,,0,CRJ
2K,1338,BOG,2709,GYE,2673,,0,319
2K,1338,BOG,2709,UIO,2688,,0,319 320
2K,1338,CLO,2715,GYE,2673,,0,319
2K,1338,GYE,2673,BOG,2709,,0,319
2K,1338,GYE,2673,CLO,2715,,0,319
2K,1338,GYE,2673,SCY,6045,,0,319 320
2K,1338,GYE,2673,UIO,2688,,0,320 319
2K,1338,OCC,2670,UIO,2688,,0,319
2K,1338,SCY,6045,GYE,2673,,0,319 320
2K,1338,UIO,2688,BOG,2709,,0,319 320
2K,1338,UIO,2688,GYE,2673,,0,319
2K,1338,UIO,2688,OCC,2670,,0,319
2L,2750,BDS,1506,ZRH,1678,,0,100
2L,2750,BOD,1264,ZRH,1678,,0,100
2L,2750,BRS,490,ZRH,1678,,0,100
2L,2750,GVA,1665,LPA,1054,,0,319
2L,2750,LCA,1197,ZRH,1678,,0,319
2L,2750,LPA,1054,ZRH,1678,,0,319
2L,2750,RMF,4197,ZRH,1678,,0,319
2L,2750,TFS,1056,GVA,1665,,0,319
2L,2750,ZRH,1678,BDS,1506,,0,100
2L,2750,ZRH,1678,BOD,1264,,0,100
2L,2750,ZRH,1678,BRS,490,,0,100
2L,2750,ZRH,1678,LCA,1197,,0,319
2L,2750,ZRH,1678,LPA,1054,,0,319
2L,2750,ZRH,1678,RMF,4197,,0,319
2N,3652,AJR,730,LYC,719,,0,ATP
2N,3652,ARN,737,GEV,715,,0,ATP
2N,3652,ARN,737,HAD,709,,0,SF3
2N,3652,ARN,737,JKG,688,,0,ATP SF3
2N,3652,ARN,737,KRF,718,,0,ATP
2N,3652,ARN,737,KSD,5595,,0,SF3
2N,3652,ARN,737,LYC,719,,0,ATP
2N,3652,ARN,737,MHQ,442,,0,SF3
2N,3652,ARN,737,OER,722,,0,ATR
2N,3652,ARN,737,POR,448,,0,SF3
2N,3652,ARN,737,TRF,664,,0,SF3
2N,3652,ARN,737,VBY,746,,0,SF3 ATP
2N,3652,ARN,737,VHM,729,,0,SF3
2N,3652,ARN,737,VXO,711,,0,SF3
2N,3652,GEV,715,ARN,737,,0,ATP
2N,3652,GEV,715,KRF,718,,0,ATP
2N,3652,HAD,709,ARN,737,,0,SF3 ATP
2N,3652,HAD,709,JKG,688,,0,ATP SF3
2N,3652,HAD,709,VXO,711,,0,SF3
2N,3652,HMV,5599,VHM,729,,0,SF3
2N,3652,JKG,688,ARN,737,,0,ATP SF3
2N,3652,JKG,688,HAD,709,,0,ATP SF3
2N,3652,KOK,435,POR,448,,0,SF3
2N,3652,KRF,718,ARN,737,,0,ATP
2N,3652,KRF,718,GEV,715,,0,ATP
2N,3652,KSD,5595,ARN,737,,0,SF3
2N,3652,LYC,719,AJR,730,,0,ATP
2N,3652,LYC,719,ARN,737,,0,ATP
2N,3652,MHQ,442,ARN,737,,0,SF3
2N,3652,MHQ,442,TKU,460,,0,SF3
2N,3652,OER,722,ARN,737,,0,ATR
2N,3652,OSL,644,VXO,711,,0,SF3
2N,3652,POR,448,ARN,737,,0,SF3
2N,3652,POR,448,KOK,435,,0,SF3
2N,3652,TKU,460,MHQ,442,,0,SF3
2N,3652,TRF,664,ARN,737,,0,SF3
2N,3652,VBY,746,ARN,737,,0,SF3 ATP
2N,3652,VHM,729,ARN,737,,0,SF3
2N,3652,VHM,729,HMV,5599,,0,SF3
2N,3652,VXO,711,ARN,737,,0,SF3
2N,3652,VXO,711,OSL,644,,0,SF3
2O,146,ADQ,3531,AOS,7167,,0,BNI
2O,146,ADQ,3531,KKB,7168,,0,BNI
2O,146,ADQ,3531,KLN,7162,,0,BNI
2O,146,ADQ,3531,KOZ,7164,,0,BNI
2O,146,ADQ,3531,OLH,7163,,0,BNI
2O,146,AOS,7167,KZB,7176,,0,BNI
2O,146,KKB,7168,SYB,7173,,0,BNI
2O,146,KLN,7162,KYK,7161,,0,BNI
2O,146,KOZ,7164,ORI,7165,,0,BNI
2O,146,SYB,7173,KPR,7172,,0,BNI

بازدیدها: 2689