fix(stack): публикация портов ограничена localhost
This commit is contained in:
1 parent
0bdce356e3
commit
e06b9f8b52
4 files changed
+14
-8
No files matched your search
@@ -1,5 +1,7 @@
|
||||
# Lakehouse без магии
|
||||
|
||||
Все порты стенда публикуются только на `127.0.0.1`. На удалённой машине открывай нужные интерфейсы через SSH-туннель; прямой доступ по внешнему IP закрыт.
|
||||
|
||||
Практический курс, после которого ты будешь уверенно работать с Lakehouse-стеком: поднимать стенд, строить пайплайн `raw -> bronze -> silver`, читать одну таблицу из двух движков и не бояться изменений в данных.
|
||||
|
||||
## Что ты получишь
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
# START HERE
|
||||
|
||||
Порты стенда доступны только на `127.0.0.1` машины с Docker. Для удалённого стенда используй SSH-туннель к нужному порту, например `ssh -N -L 8080:127.0.0.1:8080 user@host` для Spark UI.
|
||||
|
||||
Здесь ты подготовишь окружение и выполнишь первое вычисление в Spark.
|
||||
К концу запуска в ноутбуке появится `Spark cluster smoke test passed.`, а результат
|
||||
сохранится в файле на твоем компьютере. Smoke test — короткая проверка, что
|
||||
|
||||
+8
-8
@@ -8,7 +8,7 @@ services:
|
||||
POSTGRES_USER: iceberg
|
||||
POSTGRES_PASSWORD: iceberg
|
||||
ports:
|
||||
- "5432:5432" # опционально, чтобы заходить с хоста через DBeaver/psql
|
||||
- "127.0.0.1:5432:5432" # опционально, чтобы заходить с хоста через DBeaver/psql
|
||||
networks:
|
||||
- spark-net
|
||||
volumes:
|
||||
@@ -71,8 +71,8 @@ services:
|
||||
- AWS_SECRET_ACCESS_KEY=minioadmin
|
||||
command: ["/opt/spark/sbin/start-master.sh"]
|
||||
ports:
|
||||
- "7077:7077" # Spark master
|
||||
- "8080:8080" # Web UI мастера
|
||||
- "127.0.0.1:7077:7077" # Spark master
|
||||
- "127.0.0.1:8080:8080" # Web UI мастера
|
||||
volumes:
|
||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||
|
||||
@@ -94,7 +94,7 @@ services:
|
||||
depends_on:
|
||||
- spark-master
|
||||
ports:
|
||||
- "8081:8081" # Web UI первого воркера
|
||||
- "127.0.0.1:8081:8081" # Web UI первого воркера
|
||||
volumes:
|
||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||
|
||||
@@ -116,7 +116,7 @@ services:
|
||||
depends_on:
|
||||
- spark-master
|
||||
ports:
|
||||
- "8082:8081" # Web UI второго воркера (host 8082)
|
||||
- "127.0.0.1:8082:8081" # Web UI второго воркера (host 8082)
|
||||
volumes:
|
||||
- ./spark/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
|
||||
|
||||
@@ -132,8 +132,8 @@ services:
|
||||
- MINIO_ROOT_USER=minioadmin
|
||||
- MINIO_ROOT_PASSWORD=minioadmin
|
||||
ports:
|
||||
- "9000:9000"
|
||||
- "9001:9001"
|
||||
- "127.0.0.1:9000:9000"
|
||||
- "127.0.0.1:9001:9001"
|
||||
volumes:
|
||||
- minio-data:/data
|
||||
|
||||
@@ -245,7 +245,7 @@ services:
|
||||
- AWS_SECRET_ACCESS_KEY=minioadmin
|
||||
- AWS_REGION=us-east-1
|
||||
ports:
|
||||
- "8090:8080" # Web UI Trino
|
||||
- "127.0.0.1:8090:8080" # Web UI Trino
|
||||
volumes:
|
||||
- ./trino/catalog:/etc/trino/catalog:ro
|
||||
- ./trino/jvm.config:/etc/trino/jvm.config:ro
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
# Технический reference стенда
|
||||
|
||||
Все опубликованные порты привязаны к `127.0.0.1` хоста. Соединения между контейнерами идут по сети Compose. Для доступа с другого компьютера используй SSH-туннель, например `ssh -N -L 8080:127.0.0.1:8080 user@host` для Spark UI. Публикация портов на всех интерфейсах открывает учебные сервисы без аутентификации внешним клиентам; обычные входящие правила UFW могут не фильтровать опубликованные Docker-порты.
|
||||
|
||||
Этот документ описывает сам стенд как runtime-среду: сервисы, порты, доступ, основные команды и smoke-тесты.
|
||||
|
||||
Если нужен первый student onboarding, используй [START_HERE.md](../START_HERE.md). Если нужна программа курса, используй [course_program.md](./course_program.md).
|
||||
|
||||
Reference in new issue
Block a user