infrastructure-presentation-2016/infra.pandoc

% Инфраструктурата на OpenFest 2016
% жица, брат ми
% OpenFest team \<team@openfest.org\>

# За какво ще ви говорим

## За какво ще ви говорим

* Мрежа
* Wireless
* Monitoring
* Ток
* Видео

##

![Къде сме](isom.png)

# Мрежа


##

![Логическа топология](network.png)

## Цел

* Гигабитова мрежа
* IPv4 и IPv6
* Издръжлива на прекъсвания
* Да може да носи всичкия потребителски и служебен трафик
	* много видео трафик


## Техника

* core switch-ове
	* 7 x TP-Link SG3210 (буквално железни)
	* 2 x Cisco 3750G
* workshop switch-ове (от кол и въже)
	* HP 1800-24G
	* 2 x Cisco 2970
	* 2 x Mikrotik cloud router switch
* router
	* DL380 G5
* много много кабели
* PoE инжектори

## Снабдяване

* Добри хора
	* netissat (за поредна година)
	* devhex
	* securax
	* initLab
* ebay
	* изпадат понякога много евтино switch-ове

## До-снабдяване

* ПРИЕМАМЕ ДАРЕНИЯ
	* наистина, малко гигабитова техника няма да откажем
	* или 10-гигабитова
		* ... или 100-гигабитова

## Топология

* Мрежа с много кръгове
* MSTP
* Жици навсякъде
* Един leaf, за NOC
	* ако NOC-а не работи, ще пречи само на мрежарите
		* те така и така не са хора

##

![Партер/1ви ет.](parter.png)

##

![1ви балkon/2ри ет.](balkon1.png)

## Uplink

* 300 mbps през NetX
* едно оптично трасе, което опънаха заради нас миналата година
* в момента влиза през фасадата през една тръба до нас
	* моля не го режете, преди да свърши събитието

##

![Сървърно преди 1](srvb1.jpg)

##

![Сървърно преди 2](srvb2.jpg)

##

![Сървърно след](srva.jpg)

##

![терариум - NOC](noc1.jpg)

##

![... или кланица](noc2.jpg)

##

![а такава мрежа не сме правили](not-our.jpg)

##

![но свързахме дори това към нас](linked.jpg)


## routing и т.н.

* прост linux
* deban iptables и NAT (бля)

## подмрежи

* management (ipv4 only)
* wired (ipv4 & ipv6)
* wireless (ipv4 & ipv6)
* video (ipv4 only)
* overflow (ipv4 only)
* Разделени по роли

## Потребителски мрежи

* странни ARP филтрирания
	* ... които ще бъдат разказани в wifi частта
* филтриран порт 25
	* не си заслужава усилието
* Split DNS
	* имахме за stream.openfest.org, да не ходят хората навън за stream-а
	* тая година не се занимавахме (някой смени bind-а на unbound :) )

## Прост зонален firewall

* Никой освен сървъра не може да си говори с не-потребителските vlan-и

## някакви статистики

* трафик за един ден
	* uplink RX bytes:166625775439 (155.1 GiB)  TX bytes:111672002107 (104.0 GiB)
	* wired vlan RX bytes:49287123 (47.0 MiB)  TX bytes:110877063 (105.7 MiB)
	* wireless vlan RX bytes:9683344153 (9.0 GiB)  TX bytes:132029407460 (122.9 GiB)
	* video vlan RX bytes:152016225220 (141.5 GiB)  TX bytes:90711376574 (84.4 GiB)
* видени уникални mac адреса за събота
	* wired vlan - 8 !
	* wireless vlan - 485
	* Извод - не е ясно защо даваме портове на хората :)
* километър и малко кабел
	* никаква оптика тая година :)

# wireless

## Проблемът

* Да се покрие с Wi-Fi цялата сграда
* Да се оптимизира използването на радио спектъра, който имаме на разположение

## Хардуерът

* 4 x Linksys WRT1900ACS
* 2 x D-Link DAP-2695
* 7 x TP-Link Archer C5/C7
* Резерви: 3 x TP-Link WDR4300

13 работещи точки за достъп, общо 26 BSS-а.

##

![Железария](wifihw.jpg)

## Софтуерът

* LEDE на Linksys и D-Link устройствата
* OpenWrt с бекпортове на TP-Link устройствата (https://github.com/OpenFest/openwrt)

## Снабдяване

Благодарим на:

* Мариян (hackman)
* Васил Колев
* Стефан Леков
* neter
* Securax
* init Lab
* rattus

## Разпределение

![Разпределение](wifi.png)

##

![Accident waiting to happen](ladder.jpg)


# Оптимизации

## Ограничаване на broadcast и multicast трафика

Филтриране при точките за достъп:

    /usr/sbin/ebtables -A FORWARD -i wlan+ -o wlan+ -j DROP
    /usr/sbin/ebtables -A FORWARD -i wlan+ -s 00:1e:0b:d9:bb:6a -j DROP
    /usr/sbin/ebtables -A FORWARD -i eth+ -o wlan+ -s ! 00:1e:0b:d9:bb:6a -j DROP

Proxy-arp, proxy-nd и намаляване на продължителността на state-овете на рутера.

## Ограничаване на base rate-овете

* Към мрежата не можеш да се свържеш на под 54Mbs. (вж. https://petko.me/openfest/wifi/2014/11/09/openfest-wifi.html)
* Имахме максимум 6 802.11g устройства.
* Надявам се догодина airtime fairness пачовете да се събмитнати в LEDE/OpenWrt и да няма нужда да правим тази оптимизация.

## Увеличаване на beacon interval-ът

* На BSS-ите на 2,4 ГХц интервалът е 2,5 пъти по-висок, от стандартното (т.е. 250 kns).

## Ограничаване на мощността на излъчване

* Всички 2,4 ГХц радиа излъчват с мощност 3-5 dBm (2-3mW) (!)
* Всички 5 ГХц радиа излъчват с мощност 19-21 dBm (80-125mW)

* Надявам се догодина minstrel-blues да е събмитнат в LEDE/OpenWrt и да няма нужда от тази оптимизация.

# Демо

# Картинки

##

![Трафик](traffic.png)

##

![Станции](clients.png)

## Какво нямахме време да направим:

https://github.com/OpenFest/openfest-network/milestone/6?closed=1

# Monitoring


## From
![initial](initial.png)

## Trough
![step1](red.png)

## Finaly
![finally](green.png)

## Statistics
 * 40 - active Hosts
 * 300+ - Active Services
 * 6 - People in NOC
 * 1 kilogram - waffles
 * 10 - devices dedicated for monitoring
 * 30 - days of work

## What we do
![monitor](monitor-all-the-things.jpg)

## And specificaly
 * Switches
 * Routers
 * Wifi
 * Stats

## Some stats
 * Maximum traffic - 300
 * Number of active clients - 300
 * Unique clients - 872
 * simultaneous sessions - 13.28K

# Ток

# Видео

##
### Благодарим за вниманието!