% Инфраструктурата на OpenFest 2016 % жица, брат ми % OpenFest team \ # За какво ще ви говорим ## За какво ще ви говорим * Мрежа * Wireless * Monitoring * Ток * Видео ## ![Къде сме](isom.png) # Мрежа ## ![Логическа топология](network.png) ## Цел * Гигабитова мрежа * IPv4 и IPv6 * Издръжлива на прекъсвания * Да може да носи всичкия потребителски и служебен трафик * много видео трафик ## Техника * core switch-ове * 7 x TP-Link SG3210 (буквално железни) * 2 x Cisco 3750G * workshop switch-ове (от кол и въже) * HP 1800-24G * 2 x Cisco 2970 * 2 x Mikrotik cloud router switch * router * DL380 G5 * много много кабели * PoE инжектори ## Снабдяване * Добри хора * netissat (за поредна година) * devhex * securax * initLab * ebay * изпадат понякога много евтино switch-ове ## До-снабдяване * ПРИЕМАМЕ ДАРЕНИЯ * наистина, малко гигабитова техника няма да откажем * или 10-гигабитова * ... или 100-гигабитова ## Топология * Мрежа с много кръгове * MSTP * Жици навсякъде * Един leaf, за NOC * ако NOC-а не работи, ще пречи само на мрежарите * те така и така не са хора ## ![Партер/1ви ет.](parter.png) ## ![1ви балkon/2ри ет.](balkon1.png) ## Uplink * 300 mbps през NetX * едно оптично трасе, което опънаха заради нас миналата година * в момента влиза през фасадата през една тръба до нас * моля не го режете, преди да свърши събитието ## ![Сървърно преди 1](srvb1.jpg) ## ![Сървърно преди 2](srvb2.jpg) ## ![Сървърно след](srva.jpg) ## ![терариум - NOC](noc1.jpg) ## ![... или кланица](noc2.jpg) ## ![а такава мрежа не сме правили](not-our.jpg) ## ![но свързахме дори това към нас](linked.jpg) ## routing и т.н. * прост linux * debian iptables и NAT (бля) ## подмрежи * management (ipv4 only) * wired (ipv4 & ipv6) * wireless (ipv4 & ipv6) * video (ipv4 only) * overflow (ipv4 only) * Разделени по роли ## Потребителски мрежи * странни ARP филтрирания * ... които ще бъдат разказани в wifi частта * филтриран порт 25 * не си заслужава усилието * Split DNS * имахме за stream.openfest.org, да не ходят хората навън за stream-а * тая година не се занимавахме (някой смени bind-а на unbound :) ) ## Прост зонален firewall * Никой освен сървъра не може да си говори с не-потребителските vlan-и ## някакви статистики * трафик за един ден * uplink RX bytes:166625775439 (155.1 GiB) TX bytes:111672002107 (104.0 GiB) * wired vlan RX bytes:49287123 (47.0 MiB) TX bytes:110877063 (105.7 MiB) * wireless vlan RX bytes:9683344153 (9.0 GiB) TX bytes:132029407460 (122.9 GiB) * video vlan RX bytes:152016225220 (141.5 GiB) TX bytes:90711376574 (84.4 GiB) * видени уникални mac адреса за събота * wired vlan - 8 ! * wireless vlan - 485 * Извод - не е ясно защо даваме портове на хората :) * километър и малко кабел * никаква оптика тая година :) # wireless ## Проблемът * Да се покрие с Wi-Fi цялата сграда * Да се оптимизира използването на радио спектъра, който имаме на разположение ## Хардуерът * 4 x Linksys WRT1900ACS * 2 x D-Link DAP-2695 * 7 x TP-Link Archer C5/C7 * Резерви: 3 x TP-Link WDR4300 13 работещи точки за достъп, общо 26 BSS-а. ## ![Железария](wifihw.jpg) ## Софтуерът * LEDE на Linksys и D-Link устройствата * OpenWrt с бекпортове на TP-Link устройствата (https://github.com/OpenFest/openwrt) ## Снабдяване Благодарим на: * Мариян (hackman) * Васил Колев * Стефан Леков * neter * Securax * init Lab * rattus ## Разпределение ![Разпределение](wifi.png) ## ![Accident waiting to happen](ladder.jpg) # Оптимизации ## Ограничаване на broadcast и multicast трафика Филтриране при точките за достъп: /usr/sbin/ebtables -A FORWARD -i wlan+ -o wlan+ -j DROP /usr/sbin/ebtables -A FORWARD -i wlan+ -s 00:1e:0b:d9:bb:6a -j DROP /usr/sbin/ebtables -A FORWARD -i eth+ -o wlan+ -s ! 00:1e:0b:d9:bb:6a -j DROP Proxy-arp, proxy-nd и намаляване на продължителността на state-овете на рутера. ## Ограничаване на base rate-овете * Към мрежата не можеш да се свържеш на под 54Mbs. (вж. https://petko.me/openfest/wifi/2014/11/09/openfest-wifi.html) * Имахме максимум 6 802.11g устройства. * Надявам се догодина airtime fairness пачовете да се събмитнати в LEDE/OpenWrt и да няма нужда да правим тази оптимизация. ## Увеличаване на beacon interval-ът * На BSS-ите на 2,4 ГХц интервалът е 2,5 пъти по-висок, от стандартното (т.е. 250 kns). ## Ограничаване на мощността на излъчване * Всички 2,4 ГХц радиа излъчват с мощност 3-5 dBm (2-3mW) (!) * Всички 5 ГХц радиа излъчват с мощност 19-21 dBm (80-125mW) * Надявам се догодина minstrel-blues да е събмитнат в LEDE/OpenWrt и да няма нужда от тази оптимизация. # Демо # Картинки ## ![Трафик](traffic.png) ## ![Станции](clients.png) ## Какво нямахме време да направим: https://github.com/OpenFest/openfest-network/milestone/6?closed=1 # Monitoring ## From ![initial](initial.png) ## Trough ![step1](red.png) ## Finaly ![finally](green.png) ## Statistics * 40 - active Hosts * 300+ - Active Services * 6 - People in NOC * 1 kilogram - waffles * 10 - devices dedicated for monitoring * 30 - days of work ## What we do ![monitor](monitor-all-the-things.jpg) ## And specificaly * Switches * Routers * Wifi * Stats ## Some stats * Maximum traffic - 300 * Number of active clients - 300 * Unique clients - 872 * simultaneous sessions - 13.28K # Ток # Видео ## ### Благодарим за вниманието!