πŸ“£ 데이콘 λŒ€νšŒ 및 ꡐ윑용 데이터셋을 μ œλ³΄ν•΄ μ£Όμ„Έμš”!

2022.01.20 18:25 2,484 Views

μ•ˆλ…•ν•˜μ„Έμš”, 데이컀 μ—¬λŸ¬λΆ„!

데이콘 νŒ€μ—μ„œλŠ” μ–‘μ§ˆμ˜ 데이터에 κΈ°λ°˜ν•˜μ—¬ λ°μ΄μ»€λΆ„λ“€κ»˜ 쒋은 λŒ€νšŒμ™€ ꡐ윑 μ½˜ν…μΈ λ₯Ό μ œκ³΅ν•˜κΈ° μœ„ν•΄ λ§Žμ€ λ…Έλ ₯을 ν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€.

κ·ΈλŸ¬λ‚˜ λ”μš±λ” 쒋은 μ„œλΉ„μŠ€λ₯Ό μ œκ³΅ν•˜κΈ° μœ„ν•΄μ„  데이컀 μ—¬λŸ¬λΆ„λ“€μ˜ 도움이 ν•„μš”ν•©λ‹ˆλ‹€.


λ³Έ κ²Œμ‹œκΈ€μ˜ λŒ“κΈ€λ‘œ 데이터셋을 μ œλ³΄ν•΄ μ£Όμ‹œλ©΄, λ°μ΄μ½˜μ—μ„œ κ²€ν†  ν›„ μ†Œμ •μ˜ 보상을 λ“œλ¦½λ‹ˆλ‹€!

λ”ν•˜μ—¬, μ œλ³΄ν•΄ μ£Όμ‹  λ°μ΄ν„°μ…‹μœΌλ‘œ λŒ€νšŒ λ˜λŠ” ꡐ윑 μ„œλΉ„μŠ€ν™” 진행 μ‹œ, κ°μ‚¬ν•œ λ§ˆμŒμ„ λ‹΄μ•„ μ½˜ν…μΈ  내에 ν•΄λ‹Ή λ°μ΄μ»€λΆ„μ˜ IDκ°€ κΈ°μž…λ©λ‹ˆλ‹€.


세상은 λ„’κ³  데이터도 λ§Žλ‹€! 라고 μƒκ°ν•˜μ‹œλŠ” λΆ„, μž¬λ°ŒλŠ” 데이터λ₯Ό μ•Œκ³  κ³„μ‹œλŠ” λΆ„, ν˜Ήμ€ 직접 κ΄€λ ¨ μ„œλΉ„μŠ€λ₯Ό μš΄μ˜ν•˜μ‹œλŠ” λΆ„λ“€μ˜ 적극적인 제보λ₯Ό κΈ°λ‹€λ¦½λ‹ˆλ‹€.



"데이터, 그것이 ν•„μš”ν•˜λ‹€."


λŒ€μƒ

데이컀라면 λˆ„κ΅¬λ‚˜


λͺ©μ 

데이콘 μ„œλΉ„μŠ€(λŒ€νšŒ, ꡐ윑 λ“±)에 ν™œμš© κ°€λŠ₯ν•œ 데이터 ν’€ μˆ˜μ§‘


ν•„μš” 사항

1. μ €μž‘ 및 배포ꢌ

λͺ¨λ“  λ°μ΄ν„°λŠ” 데이콘 μ„œλΉ„μŠ€μ— μ°Έμ—¬ν•˜λŠ” λ°μ΄μ»€λΆ„λ“€κ»˜ 제곡 κ°€λŠ₯ν•˜λ„λ‘ μ €μž‘κΆŒ 및 배포ꢌ이 μ˜€ν”ˆλ˜μ–΄ μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€. (ex. CC0 μ €μž‘κΆŒ 보유 데이터)

곡개된 데이터 쀑 μ €μž‘κΆŒ μ—¬λΆ€λ₯Ό 직접 νŒλ‹¨ν•˜κΈ° μ–΄λ €μš΄ 경우, 링크만 μ œμΆœν•΄ μ£Όμ‹œλ©΄ 데이콘 νŒ€μ—μ„œ 직접 νŒŒμ•…ν•˜κ² μŠ΅λ‹ˆλ‹€.


2. λ°μ΄ν„°μ˜ ν˜•νƒœ

일반적인 ν…Œμ΄λΈ” ν˜•μ‹μ˜ μ •ν˜• 데이터(μ‹œκ³„μ—΄ 포함)와 각쒅 λΉ„μ •ν˜• 데이터(ex. Vision, NLP, Audio) λ“±. 뢄석 ν˜Ήμ€ μ‹œκ°ν™”μ— ν™œμš© κ°€λŠ₯ν•œ ν˜•νƒœμ—¬μ•Ό ν•©λ‹ˆλ‹€.

데이터 좜처 URL을 λŒ“κΈ€λ‘œ κΈ°μž…ν•΄ μ£Όμ‹œλ©΄, 데이콘 νŒ€μ—μ„œ κ²€ν† λ₯Ό μ§„ν–‰ν•©λ‹ˆλ‹€.

각쒅 개인 μ €μž₯μ†Œ ν˜Ήμ€ DB에 μ‘΄μž¬ν•˜λŠ” 고유 λ°μ΄ν„°μ˜ 경우, λŒ“κΈ€λ‘œ κ°„λ‹¨ν•œ μ„€λͺ…을 덧뢙여 μ£Όμ„Έμš”. 데이콘 νŒ€μ—μ„œ μ°Έκ³ ν•˜μ—¬ κ²€ν†  ν›„, 별도 ν˜‘μ˜λ₯Ό 진행할 μ˜ˆμ •μž…λ‹ˆλ‹€.


3. λ°μ΄ν„°μ˜ μˆ˜μ§‘, 가곡 및 처리 방식

크둀링 ν˜Ήμ€ API 연동을 톡해 μ§€μ†μ μœΌλ‘œ μˆ˜μ§‘ κ°€λŠ₯ν•œ 데이터(크둀러 개발 및 API 연동은 λ°μ΄μ½˜μ—μ„œ 직접 μˆ˜ν–‰), TXT(CSV, TSV λ“± λ³€ν˜• 포함), Excel λ“±μ˜ Flat File 및 DB Dump, Snapshot Fileκ³Ό 각쒅 λΉ„μ •ν˜• λ°μ΄ν„°μ—μ„œ μ§€μ›ν•˜λŠ” 고유 ν™•μž₯자 File λͺ¨λ‘ 제보 κ°€λŠ₯ν•©λ‹ˆλ‹€.


4. μ–Έμ–΄ 및 지역, μ‹œκ°„

영문 및 ν•œκ΅­μ–΄, 기타 숫자, 기호, Unicode κ°€λŠ₯ν•©λ‹ˆλ‹€. (이외 μ–Έμ–΄λ‘œ μž‘μ„±λœ 경우, ν•΄λ‹Ή μ–Έμ–΄κ°€ ν¬ν•¨λœ Column이 factor level 100 μ΄ν•˜μ˜ λ²”μ£Όν˜• λ³€μˆ˜μΈ 경우 κ°€λŠ₯)

μ‹œκ³„μ—΄ 데이터 ν˜Ήμ€ 기타 timestampκ°€ μ‘΄μž¬ν•˜λŠ” λ°μ΄ν„°μ˜ 경우, 데이터 ν…Œμ΄λΈ” 내뢀에 timezone이 ν‘œκΈ°λ˜μ–΄ μžˆμ§€ μ•Šλ”λΌλ„ 데이콘 νŒ€μ—μ„œ νŒŒμ•… κ°€λŠ₯ν•œ 별도 정보 ν˜Ήμ€ 메타 정보가 μžˆλŠ” 데이터λ₯Ό ꢌμž₯ν•©λ‹ˆλ‹€.


5. 제보 μ •μ±…

λ°μ΄μ½˜μ—μ„œ 기쑴에 ν™œμš©ν•œ 이λ ₯이 μžˆλŠ” 데이터 셋은 제보 λŒ€μƒμ—μ„œ μ œμ™Έν•©λ‹ˆλ‹€.

λ™μΌν•œ λ°μ΄ν„°μ˜ 쀑볡 μ œλ³΄λŠ” μΈμ •ν•˜μ§€ μ•ŠμœΌλ©°, 쀑볡이 λ°œμƒν•œ 경우 λŒ“κΈ€μ„ λ¨Όμ € λ“±λ‘ν•œ 데이컀의 제보λ₯Ό μš°μ„ μœΌλ‘œ ν•©λ‹ˆλ‹€.


6. 제보 방식

데이터 μ œλ³΄λŠ” λ‹€μŒκ³Ό 같은 μ–‘μ‹μœΌλ‘œ λ³Έ κ²Œμ‹œκΈ€μ— λŒ“κΈ€λ‘œ κΈ°μž…ν•΄ μ£Όμ„Έμš”.


데이터셋 이름, μ •ν˜•/λΉ„μ •ν˜•(Vision, NLP, Audio), URL

예) ㅁㅁㅁ 데이터, λΉ„μ •ν˜•(NLP), www.abcdefg.ai



보상

1. λ°μ΄ν„°μ˜ μœ„μΉ˜(URL λ“±) 및 기타 μœ νš¨ν•œ 데이터λ₯Ό μ œλ³΄ν•΄ μ£Όμ‹  경우, μŠ€νƒ€λ²…μŠ€ 아메리카노 κΈ°ν”„ν‹°μ½˜(1μž”)을 지급해 λ“œλ¦½λ‹ˆλ‹€.

λ§Œμ•½ μ œλ³΄ν•΄ μ£Όμ‹  데이터가 μ‹€μ œ μ„œλΉ„μŠ€μ— μ‚¬μš©λ  경우, 5만 원 μƒλ‹Ήμ˜ κΈ°ν”„ν‹°μ½˜μ„ μΆ”κ°€λ‘œ λ“œλ¦½λ‹ˆλ‹€!


2. 법인 및 μ—°κ΅¬μ†Œ λ“± 지속적인 데이터 제곡이 κ°€λŠ₯ν•œ λ°μ΄μ»€λΆ„λ“€κ»˜μ„œλŠ” 데이콘 νŒ€κ³Ό λ³„λ„μ˜ 업무 계약을 ν†΅ν•œ 보상 지급이 κ°€λŠ₯ν•©λ‹ˆλ‹€.


3. 개인, 법인, μ—°κ΅¬μ†Œ λ“± 데이터 μΆœμ²˜μ™€ λ¬΄κ΄€ν•˜κ²Œ 외뢀에 κ³΅κ°œλ˜μ§€ μ•Šμ€ μœ νš¨ν•œ 고유 데이터 셋을 μ œκ³΅ν•΄ μ£Όμ‹œλŠ” 경우(μ €μž‘κΆŒ, 배포ꢌ free ν•„μˆ˜), 데이콘 νŒ€ κ²€ν†  ν›„ ν˜„κΈˆ 500만 원(VAT 별도)을 지급해 λ“œλ¦½λ‹ˆλ‹€.


4. (곡톡 사항) μ œλ³΄ν•΄ μ£Όμ‹  데이터λ₯Ό μ‹€μ œ μ„œλΉ„μŠ€μ— ν™œμš©ν•  경우, ν•΄λ‹Ή μ½˜ν…μΈ μ— λ°μ΄μ»€λΆ„μ˜ IDκ°€ κΈ°μž…λ©λ‹ˆλ‹€!



데이콘 νŒ€μ€ 데이컀 μ—¬λŸ¬λΆ„λ“€μ˜ μ‚¬λž‘κ³Ό 관심을 λ°”νƒ•μœΌλ‘œ 더 쒋은 μ„œλΉ„μŠ€λ₯Ό μ œκ³΅ν•˜κΈ° μœ„ν•΄ μ΅œμ„ μ„ λ‹€ν•˜κ² μŠ΅λ‹ˆλ‹€.

λ§Žμ€ μ°Έμ—¬ λΆ€νƒλ“œλ¦½λ‹ˆλ‹€!





둜그인이 ν•„μš”ν•©λ‹ˆλ‹€
0 / 1000
μ΄λŒ€κΆŒ
2022.01.21 15:00

μ•ˆλ…•ν•˜μ„Έμš”. λ²”μœ„κ°€ λ„“κΈ°λŠ” ν•œλ°μš”, μ΄λ ‡κ²Œ μ œλ³΄ν•˜λ©΄ λ κΉŒμš”? https://earthdata.nasa.gov

DACONIO
2022.01.24 11:13

λ„€, κ°μ‚¬ν•©λ‹ˆλ‹€. :]
νŠΉμ • λ°μ΄ν„°κ°€ μ•„λ‹ˆλΌ λ°μ΄ν„°λ₯Ό μˆ˜μ§‘ν•  μˆ˜ μžˆλŠ” μ‚¬μ΄νŠΈ μžμ²΄λ₯Ό μ œλ³΄ μ£Όμ‹€ κ²½μš°, κ°„λž΅ν•œ μ‚¬μ΄νŠΈ μ„€λͺ…μ΄λ‚˜ λ°μ΄μ½˜μ—μ„œ κ²€ν† ν•  λ•Œ μ°Έκ³ ν• λ§Œν•œ κΈ°νƒ€ μ‚¬ν•­λ“€ κ°™μ΄ κΈ°μž…ν•΄ μ£Όμ‹œλ©΄ ν° λ„움이 λ©λ‹ˆλ‹€.

μ΄λŒ€κΆŒ
2022.01.26 11:02

λ„€ ν™•μΈ ν–ˆμŠ΅λ‹ˆλ‹€. μ’€ λ” μ’ν˜€μ„œ μ œλ³΄λ₯Ό ν•΄μ•Όκ² λ„€μš”~. 
μΉ΄ν†‘λ°©μ—μ„œ κ³΅μœ λœ ν™”μž¬ λ°μ΄ν„° https://zenodo.org/record/5643075#.YfCrH_VBxpJ λ§ν¬ μ „달 λ“œλ¦½λ‹ˆλ‹€. 
μ €λŠ” κ³΅μœ λœ λ§ν¬λ₯Ό μ „달 λ“œλ ΈκΈ° λ•Œλ¬Έμ— λ¦¬μ›Œλ“œλ₯Ό λ°›λŠ” κ²ƒμ€ μ‚¬μ–‘ν•˜κ² μŠ΅λ‹ˆλ‹€. κ°μ‚¬ν•©λ‹ˆλ‹€.

annsyj94
2022.01.21 19:44

μ„œλΈŒμ›¨μ΄ μƒŒλ“œμœ„μΉ˜ μ˜μ–‘ μ„­μ·¨ λ°μ΄ν„°, μ •ν˜• (RMSE) , https://www.subway.com/en-US/MenuNutrition/Nutrition/NutritionGrid

DACONIO
2022.01.24 11:14

κ°μ‚¬ν•©λ‹ˆλ‹€. κ²€ν†  μ§„ν–‰ν•˜κ² μŠ΅λ‹ˆλ‹€.

DACONIO
2022.02.03 11:46

annsyj94λ‹˜, κ²€ν†  κ²°κ³Ό μœ νš¨ν•œ λ°μ΄ν„° μ…‹μœΌλ‘œ νŒμ •λ˜μ–΄ μŠ€νƒ€λ²…μŠ€ μ•„μ΄μŠ€μ•„λ©”λ¦¬μΉ΄λ…Έ κΈ°ν”„ν‹°μ½˜ μ§€κΈ‰ μ˜ˆμ •μž…λ‹ˆλ‹€.
μΆ•ν•˜λ“œλ¦½λ‹ˆλ‹€!

Jida
2022.01.25 17:49

USA μ •λΆ€ μ˜€ν”ˆ λ°μ΄ν„°μ…‹ μ‚¬μ΄νŠΈ, https://catalog.data.gov/dataset
λ―Έκ΅­ μ€ν–‰ λ°μ΄ν„°μ…‹ μ‚¬μ΄νŠΈ, https://www.federalreserve.gov/data.htm
μΊ˜λ¦¬ν¬λ‹ˆμ•„ μ˜€ν”ˆ λ°μ΄ν„°μ…‹ μ‚¬μ΄νŠΈ, https://data.ca.gov
λ‰΄μš• μ˜€ν”ˆ λ°μ΄ν„°μ…‹ ν¬ν„Έ, https://data.ny.gov
NASA μ˜€ν”ˆ λ°μ΄ν„°μ…‹ μ‚¬μ΄νŠΈ, https://data.nasa.gov/browse
UCI λ¨Έμ‹ λŸ¬λ‹ λ°μ΄ν„°μ…‹ μ €μž₯μ†Œ, https://archive.ics.uci.edu/ml/datasets.php
FiveThirtyEight λ°μ΄ν„°μ…‹ μ‚¬μ΄νŠΈ, https://data.fivethirtyeight.com

DACONIO
2022.02.03 11:21

쒋은 μ†ŒμŠ€ κ°μ‚¬ν•©λ‹ˆλ‹€. κ²€ν†  μ§„ν–‰μ€‘μž…λ‹ˆλ‹€.

DACONIO
2022.02.03 11:46

Jidaλ‹˜, κ²€ν†  κ²°κ³Ό μœ νš¨ν•œ λ°μ΄ν„° μ…‹μœΌλ‘œ νŒμ •λ˜μ–΄ μŠ€νƒ€λ²…μŠ€ μ•„μ΄μŠ€μ•„λ©”λ¦¬μΉ΄λ…Έ κΈ°ν”„ν‹°μ½˜ μ§€κΈ‰ μ˜ˆμ •μž…λ‹ˆλ‹€.
μΆ•ν•˜λ“œλ¦½λ‹ˆλ‹€!

μ΄λŒ€κΆŒ
2022.02.18 16:19

Fire Calorimetry Database (FCD) https://www.nist.gov/el/fcd μ œλ³΄ν•©λ‹ˆλ‹€.

DACONIO
2022.02.21 12:18

κ°μ‚¬ν•©λ‹ˆλ‹€. κ²€ν†  μ§„ν–‰ν•˜κ² μŠ΅λ‹ˆλ‹€.

창이
2023.04.18 17:04

μ•ˆλ…•ν•˜μ„Έμš”, λ°μ΄ν„° μ…‹ κ³΅μœ  ν›„, μ €ν¬ μ˜μ‚¬κ²°μ •μ— ν•„μš”ν•œ μ£Όμ œλ‘œ λŒ€νšŒλ₯Ό κ°œμ΅œν•  μˆ˜λ„ μžˆλŠ”κ±ΈκΉŒμš”? 

λ„λΉ„μ½˜
2023.04.19 11:33

μ•ˆλ…•ν•˜μ„Έμš”. μ°½μ΄λ‹˜
μ˜μ‚¬κ²°μ •μ— ν•„μš”ν•œ μ£Όμ œλΌλŠ” κ²ƒμ΄ μ–΄λ–€ μ˜λ―ΈμΌκΉŒμš”? 
dacon@dacon.io λ‘œ μžμ„Έν•œ λ‚΄μš©μ„ λΆ€νƒ λ“œλ¦½λ‹ˆλ‹€.
κ°μ‚¬ν•©λ‹ˆλ‹€. λ°μ΄μ½˜νŒ€ λ“œλ¦Ό.

비곡전함
2023.04.19 12:17

포켓λͺ¬ μ΄λ―Έμ§€ λ§Œλ“€κΈ°,  https://www.kaggle.com/datasets/thomassirvent/all-pokemon, μ΄κ±΄ μ €κ°€ λŒ€νšŒλ‘œ ν•œλ²ˆ ν•΄λ³΄κ³  μ‹Άμ€ μ£Όμ œγ…£γ…‚λ‹ˆλ‹€.
저도 μ΄λ―Έ μ‘΄μž¬ν•˜λŠ” μΊκΈ€ λ§ν¬λ₯Ό μ „달 λ“œλ ΈκΈ° λ•Œλ¬Έμ— λ¦¬μ›Œλ“œλ₯Ό λ°›λŠ” κ²ƒμ€ μ‚¬μ–‘ν•˜κ² μŠ΅λ‹ˆλ‹€. κ°μ‚¬ν•©λ‹ˆλ‹€.

Mather
2023.04.19 12:29

비곡전함 λ‹˜ κ°μ‚¬ν•©λ‹ˆλ‹€. 
κ²€ν† ν•˜κ² μŠ΅λ‹ˆλ‹€.!