Энэ гарын авлагыг хуваалцах
Тодорхойлолт
Apache Superset нь бүх түвшний хэрэглэгчдэд өгөгдлөө хялбар судлах, дүрслэх боломжийг олгодог орчин үеийн, байгууллагын түвшний бизнесийн оюун ухаан болон өгөгдөл судлалын платформ юм. Анх Airbnb-д боловсруулсан, одоо Apache Software Foundation-ийн түвшний төсөл болсон Superset нь өргөн SQL мэдлэг эсвэл програмчлалын ур чадваргүйгээр самбар, график болон аналитикийн аппликейшн бүтээх баялаг, ойлгомжтой интерфэйс санал болгодог.
Superset нь SQL хэлээр холбогдох бараг бүх өгөгдлийн сан эсвэл агуулахтай холбогдох семантик давхаргад суурилдаг. Дэмжлэгт PostgreSQL, MySQL, SQLite, Oracle, Microsoft SQL Server, Amazon Redshift, Google BigQuery, Snowflake, Apache Drill, Apache Druid, Apache Hive, Presto, ClickHouse болон SQLAlchemy холбогчоор бусад олон зүйл багтдаг. Энэ универсал холбогдох чадвар нь байгууллагуудад янз бүрийн өгөгдлийн эх сурвалжуудын аналитикийг нэг интерфэйсээр нэгтгэх боломжийг олгодог.
Платформ нь цаг хугацааны цуваа график, багана график, пирог график, газарзүйн газрын зураг, дулааны зураг (heatmap), pivot хүснэгт болон Sankey диаграмм, sunburst график зэрэг дэвшилтэт дүрслэлүүд багтсан 40 гаруй урьдчилан бүтээсэн графикийн төрлийн санг ашигладаг. Дүрслэл бүрийг ойлгомжтой UI-аар өндөрт тохируулж, шинжээчид код бичихгүйгээр танилцуулгаа бизнесийн шаардлагад тааруулах боломжтой.
Superset-ийн SQL Lab нь асуулгын түүх, хадгалсан асуулгууд, асуулгын хуваарь, олон таб болон нэгдсэн өгөгдлийн урьдчилсан үзэлттэй өгөгдөл судлахад зориулсан хүчирхэг IDE юм. Асуулгад Jinja загварчлал дэмжсэнээр самбарын шүүлтүүрт тулгуурласан динамик SQL үүсгэж, харилцан идэвхтэй аналитикийн туршлага бүрдүүлдэг. Асуулгын үр дүнг цаашид шинжлэх эсвэл хуваалцахын тулд CSV рүү экспортлож болно.
VPS хостингийн орчинд Superset нь Tableau, Looker, Power BI зэрэг арилжааны BI платформуудын өөрийн удирдлагатай альтернатив болж, хэрэглэгч тутмын лицензийн төлбөр болон вендорын хамаарлаас ангид адил төстэй функционал санал болгодог. Платформын архитектур нь ачааллын тэнцвэржүүлэлтээр хэвтээ өргөтгөлийг дэмждэг бөгөөд олон мянган зэрэгцээ хэрэглэгч, саяар мөр өгөгдлийн байгууллагын түвшний ачааллыг зохицуулж чадна.
Аюулгүй байдал болон удирдлагын боломжид үүрэгт суурилсан хандалтын удирдлага (RBAC), dataset түвшний болон мөр түвшний аюулгүй байдал, OAuth үйлчилгээ үзүүлэгчид (Google, GitHub, Okta)-тэй интеграц, LDAP баталгаажуулалт болон бүрэн аудитын лог орно. Олон түрээслэгчийн дэмжлэг нь нэг Superset суулгалтын дотор хэлтэс эсвэл харилцагчдад тусгаарлагдсан ажлын орчин бүрдүүлэх боломжийг олгодог.
Хүчтэй плагин архитектураар дамжуулан өргөтгөх чадвар нь хөгжүүлэгчдэд захиалгат дүрслэл, өгөгдлийн сангийн холбогч болон самбарын бүрэлдэхүүн хэсгүүдийг бүтээх боломжийг олгодог. Өсөн нэмэгдэж буй нийгэмлэг плагин болон өргөтгөлөөр хувь нэмэр оруулж, Superset-ийн чадвар болон интеграцийн экосистемийг тасралтгүй өргөжүүлдэг.
Түлхүүр шинж чанарууд
Универсал өгөгдлийн сангийн холболт
SQLAlchemy-ээр 40+ өгөгдлийн санг анхнаасаа дэмжинэ, үүнд PostgreSQL, MySQL, BigQuery, Snowflake, Redshift, Druid, ClickHouse болон Presto орно. Нэгдсэн аналитикт зориулагдсан.
Баялаг дүрслэлийн сан
Цаг хугацааны цуваа, газарзүйн газрын зураг, pivot хүснэгт, Sankey диаграмм болон өргөн тохируулгатай дэвшилтэт дүрслэлүүд зэрэг 40+ урьдчилан бүтээсэн графикийн төрөл.
SQL Lab IDE
Асуулгын түүх, хадгалсан асуулгууд, олон табтай интерфэйс, Jinja загварчлал, асуулгын хуваарь болон судалгаанд зориулсан нэгдсэн өгөгдлийн урьдчилсан үзэлттэй хүчирхэг SQL редактор.
Байгууллагын түвшний аюулгүй байдал ба удирдлага
Үүрэгт суурилсан хандалтын удирдлага, мөр түвшний аюулгүй байдал, dataset-ийн зөвшөөрөл, OAuth/LDAP интеграц, бүрэн аудитын лог болон олон түрээслэгчийн дэмжлэг.
Харилцан идэвхтэй самбарууд
Чирээд буулгах аргаар самбар бүтээгч, cross-filtering, drill-down боломж, уян хатан байрлалтай, динамик аналитикт зориулсан бодит цагийн өгөгдлийн шинэчлэлттэй.
Өргөтгөх чадвартай архитектур
Ачааллын тэнцвэржүүлэлт, кэшлэх давхарга (Redis), асинхрон асуулга боловсруулалт (Celery) болон байгууллагын түвшний зэрэгцээ хэрэглэгчдийг дэмждэг хэвтээ өргөтгөх чадвартай загвар.
Хэрэглэх тохиолдол
- Бизнесийн оюун ухааны самбарууд: Өгөгдөлд суурилсан шийдвэр гаргахад зориулж удирдлагын самбар, KPI хяналт, борлуулалтын аналитик болон үйл ажиллагааны тайлан бүтээ
- Өгөгдлийн судалгаа болон шинжилгээ: Инженерийн дэмжлэггүйгээр шинжээчдэд өгөгдлийн багцуудыг судлах, түр асуулга бүтээх болон дүрслэл үүсгэх боломж олго
- Харилцагчийн аналитикийн портал: SaaS аппликейшнд суулгагдсан аналитик бүтээж, харилцагчдад тэдний ашиглалт, гүйцэтгэл болон чиг хандлагын талаарх мэдээллийг өгөх
- Бодит цагийн хяналт: Аппликейшний хэмжүүр, системийн гүйцэтгэл, IoT мэдрэгчийн өгөгдөл болон бизнесийн үйл явдлуудыг автоматаар шинэчлэгддэг самбараар хянах
- Өөрөө үйлчилгээний BI платформ: Хэлтсүүдийн бизнесийн хэрэглэгчдэд хяналттай өгөгдлийн багцуудаас өөрсдийн тайлан болон дүрслэлийг бүтээх эрх мэдлийг олгох
- Олон түрээслэгчийн аналитик: Мөр түвшний аюулгүй байдал бүхий өөр өөр харилцагч, хэлтэс эсвэл бизнесийн нэгжүүдэд тусгаарлагдсан аналитикийн орчин бүрдүүлэх
Суулгах гарын авлага
Python виртуал орчинд pip ашиглан Ubuntu VPS дээр Apache Superset суулга. Superset-ийн мета өгөгдлийн хадгалалтад зориулсан тусдаа өгөгдлийн сан (PostgreSQL санал болгодог) үүсгэ. Кэшлэх болон асинхрон асуулгын дэмжлэгт зориулж Redis суулга.
python3 -m venv venv-ээр виртуал орчин үүсгэж, идэвхжүүлээд pip install apache-superset-ээр superset багцыг суулга. superset db upgrade-ээр өгөгдлийн санг эхлүүлж, superset fab create-admin-аар админ хэрэглэгч үүсгэ.
Жишээ өгөгдлийг ачаалж superset init командаар Superset-ийг эхлүүл. superset_config.py-д SECRET_KEY, өгөгдлийн сангийн холболтын мөр болон Redis кэшийн тохиргоог тохируул. Том өгөгдлийн багцын асуулгыг асинхрон гүйцэтгэхэд зориулж Celery ажилчдыг тохируул.
Үйлдвэрлэлийн байрлуулалтад зориулж вэб сервер (Gunicorn) болон reverse proxy (Nginx)-ийг тохируул. Let's Encrypt гэрчилгээгээр HTTPS идэвхжүүл. Superset вэб сервер болон Celery ажилчдад зориулж систем эхлүүлэх болон хяналтад зориулсан systemd үйлчилгээг тохируул.
Өндөр боломжтой байрлуулалтад олон Superset вэб серверийн инстанцыг ачааллын тэнцвэржүүлэгчийн ард ажиллуулж, хуваалцсан мета өгөгдлийн сан болон Redis кэшийг тохируулж, асуулгын гүйцэтгэлд зориулсан тусдаа Celery ажилчдын пул байрлуул. Гүйцэтгэлийг хянаж, асуулгын ачаалалд тулгуурлан ажилчдын тоог тааруул.
Бэлэн болгох зөвлөгөө
Superset-ийн тохиргоог PYTHONPATH дахь superset_config.py файлаар удирддаг. Session шифрлэлтэд зориулж SECRET_KEY (openssl rand -base64 42-оор үүсгэх), мета өгөгдлийн хадгалалтад SQLALCHEMY_DATABASE_URI, Redis кэшлэлтэд CACHE_CONFIG-ийг тохируул.
Өгөгдлийн сангийн холболтыг UI-аар эсвэл superset set_database_uri командаар тохируул. Хэрэглэгчийн дүрд суурилсан dataset-д хэрэглэх SQL шүүлтүүр тодорхойлж мөр түвшний аюулгүй байдал (RLS)-ийг тохируул. Гадны хуваалцахад зориулж PUBLIC_ROLE_LIKE = "Gamma" гэж тохируулаад нийтийн самбаруудыг идэвхжүүл.
AUTH_TYPE (DATABASE, OAUTH, LDAP эсвэл REMOTE_USER)-ийг болон харгалзах AUTH_CONFIG тохиргоог тохируулснаар баталгаажуулалтыг захиалга болгоно. SSO-д зориулж OAuth үйлчилгээ үзүүлэгчид (Google, GitHub, Okta) эсвэл байгууллагын LDAP/Active Directory-тэй интеграц хий.
Шилдэг туршлагад CSRF хамгаалалтыг идэвхжүүлэх, суулгагдсан самбаруудад зориулж CORS тохируулах, удаан үргэлжилдэг асуулгуудаас сэргийлэхийн тулд асуулгын хугацааны хязгаар тавих, нөөцийн удирдлагад зориулж асуулгын зардлын тооцоолол идэвхжүүлэх, товлосон тайлангуудад имэйл сэрэмжлүүлэг тохируулах, мета өгөгдлийн сангийн нөөцлөлтийн стратеги хэрэгжүүлэх зэрэг орно. Нууц мэдээллийг тохиргооны файлд шууд бичихийн оронд орчны хувьсагчаар ашигла.