devops-exercises - Linux、Jenkins、AWS、SRE、Prometheus、Docker、Python、Ansible、Git、Kubernetes、Terraform、OpenStack、SQL、NoSQL、Azure、GCP、DNS、Elastic、Network、Virtualization。DevOpsインタビューの質問

(Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. DevOps Interview Questions)

Created at: 2019-10-04 01:31:21
Language: Python
License: NOASSERTION

ℹ️  このリポジトリには、DevOpsやSREに関連することもある、さまざまな技術トピックに関する質問と演習が含まれています。

📊  現在、2292の演習と質問があります

📚  DevOpsとSREの詳細については、devops-resourcesリポジトリのリソースを確認してください

⚠️  これらは面接の準備に使用できますが、ほとんどの質問と演習は実際の面接を表すものではありません。詳細については、FAQページをお読みください

👥DevOpsコミュニティに  参加して、 DevOpsに関するディスカッションとリソースの共有を行ってください

📝  プルリクエストを送信することで、さらに演習を追加できます:)貢献ガイドラインについてはこちらをご覧ください


DevOps
DevOps
cicd
CI / CD
ギット
ギット
ansible
Ansible
通信網
通信網
Linux
Linux
プログラミング
ソフトウェア開発
Python
Python
行く
行け
バッシュ
シェルスクリプト
kubernetes
Kubernetes
プロメテウス
プロメテウス
クラウド
クラウド
aws
AWS
紺碧
Azure
Google Cloud Platform
Google Cloud Platform
openstack
OpenStack
安全
安全
オペレーティング·システム
オペレーティング·システム
モニタリング
モニタリング
弾性
弾性
仮想化
仮想化
DNS
DNS
その他
その他
テスト
テスト
データベース
データベース
正規表現
正規表現
デザイン
システムデザイン
ハードウェア
ハードウェア
ビッグデータ
ビッグデータ
証明書
証明書
コンテナ
コンテナ
sql
SQL
OpenShift
OpenShift
保管所
保管所
HR
ソフトスキル
テラフォーム
テラフォーム
Mongo
Mongo
傀儡
傀儡
分散
分散
あなた
あなたが尋ねることができる質問
perl
Perl

通信網

コミュニケーションをとるために何が必要ですか?
  • 共通言語(両端が理解できるように)
  • 誰とコミュニケーションを取りたいかを伝える方法
  • 接続(通信の内容が受信者に届くようにするため)
TCP / IPとは何ですか?

2つ以上のデバイスが相互に通信する方法を定義する一連のプロトコル。TCP / IPの詳細については、こちらをお読みください

APIPAとは何ですか?
APIPAは、メインのDHCPサーバーに到達できない場合にデバイスが割り当てられるアドレスのセットです。
APIPAはどのIP範囲を使用しますか?
APIPAはIP範囲169.254.0.1〜169.254.255.254を使用します。
イーサネットとは何ですか?

イーサネットとは、現在使用されている最も一般的なタイプのローカルエリアネットワーク(LAN)のことです。LANは、地理的に広いエリアにまたがるWAN(Wide Area Network)とは対照的に、オフィス、大学のキャンパス、さらには自宅などの小さなエリアにあるコンピューターの接続ネットワークです。

MACアドレスとは何ですか?それは何のために使われますか?

MACアドレスは、ネットワーク上の個々のデバイスを識別するために使用される一意の識別番号またはコードです。

イーサネットで送信されるパケットは、常にMACアドレスから送信され、MACアドレスに送信されます。ネットワークアダプタがパケットを受信して​​いる場合、パケットの宛先MACアドレスをアダプタ自身のMACアドレスと比較しています。

このMACアドレスはいつ使用されますか?:ff:ff:ff:ff:ff:ff

デバイスがブロードキャストMACアドレス(FF:FF:FF:FF:FF:FF)にパケットを送信すると、ローカルネットワーク上のすべてのステーションに配信されます。イーサネットブロードキャストは、データリンク層でIPアドレスを(ARPによって)MACアドレスに解決するために使用されます。

IPアドレスとは何ですか?

インターネットプロトコルアドレス(IPアドレス)は、通信にインターネットプロトコルを使用するコンピューターネットワークに接続された各デバイスに割り当てられる数値ラベルです。IPアドレスは、ホストまたはネットワークインターフェイスの識別とロケーションアドレス指定の2つの主要な機能を果たします。

サブネットマスクを説明し、例を示します

サブネットマスクは、IPアドレスをマスクし、IPアドレスをネットワークアドレスとホストアドレスに分割する32ビットの数値です。サブネットマスクは、ネットワークビットをすべて「1」に設定し、ホストビットをすべて「0」に設定することで作成されます。特定のネットワーク内では、2つのホストアドレスが特別な目的のために予約されており、ホストに割り当てることはできません。「0」アドレスにはネットワークアドレス、「255」アドレスにはブロードキャストアドレスが割り当てられており、ホストに割り当てることはできません。

例えば

| Address Class | No of Network Bits | No of Host Bits | Subnet mask     | CIDR notation |
| ------------- | ------------------ | --------------- | --------------- | ------------- |
| A             | 8                  | 24              | 255.0.0.0       | /8            |
| A             | 9                  | 23              | 255.128.0.0     | /9            |
| A             | 12                 | 20              | 255.240.0.0     | /12           |
| A             | 14                 | 18              | 255.252.0.0     | /14           |
| B             | 16                 | 16              | 255.255.0.0     | /16           |
| B             | 17                 | 15              | 255.255.128.0   | /17           |
| B             | 20                 | 12              | 255.255.240.0   | /20           |
| B             | 22                 | 10              | 255.255.252.0   | /22           |
| C             | 24                 | 8               | 255.255.255.0   | /24           |
| C             | 25                 | 7               | 255.255.255.128 | /25           |
| C             | 28                 | 4               | 255.255.255.240 | /28           |
| C             | 30                 | 2               | 255.255.255.252 | /30           |

プライベートIPアドレスとは何ですか?どのシナリオ/システム設計で、それを使用する必要がありますか?
プライベートIPアドレスは、相互に通信するために同じネットワーク内のホストに割り当てられます。「プライベート」という名前が示すように、プライベートIPアドレスが割り当てられているデバイスには、外部ネットワークからデバイスが到達することはできません。たとえば、私がホステルに住んでいて、ホストしているゲームサーバーにホステルの仲間を参加させたい場合、ネットワークはホステルのローカルであるため、サーバーのプライベートIPアドレスを介して参加するように依頼します。
パブリックIPアドレスとは何ですか?どのシナリオ/システム設計で、それを使用する必要がありますか?
パブリックIPアドレスは、公開されているIPアドレスです。友達に参加させたいゲームサーバーをホストしている場合は、友達にパブリックIPアドレスを与えて、接続を確立するためにコンピューターがネットワークとサーバーを識別して特定できるようにします。公開IPアドレスを使用する必要がないのは、同じネットワークに接続している友人と遊んでいた場合です。その場合は、プライベートIPアドレスを使用します。誰かが内部にあるサーバーに接続できるようにするには、パブリックドメインからネットワークへのトラフィック、またはその逆のトラフィックを許可するようにルーターに指示するポートフォワードを設定する必要があります。
OSIモデルについて説明します。どんなレイヤーがありますか?各レイヤーは何を担当していますか?
  • アプリケーション:ユーザーエンド(HTTPはここにあります)
  • プレゼンテーション:アプリケーション層エンティティ間のコンテキストを確立します(暗号化はここにあります)
  • セッション:接続を確立、管理、終了します
  • トランスポート:可変長のデータシーケンスを送信元から宛先ホストに転送します(TCPとUDPはここにあります)
  • ネットワーク:あるネットワークから別のネットワークにデータグラムを転送します(IPはここにあります)
  • データリンク:2つの直接接続されたノード間のリンクを提供します(MACはここにあります)
  • 物理的:データ接続の電気的および物理的仕様(ビットはここにあります)

あなたはpenguintutor.comでOSIモデルについてもっと読むことができます

以下のそれぞれについて、それが属するOSI層を判別します。
  • エラー訂正
  • パケットルーティング
  • ケーブルと電気信号
  • Macアドレス
  • IPアドレス
  • 接続を終了します
  • 3ウェイハンドシェイク

エラー修正-データリンクパケットルーティング-ネットワークケーブルと電気信号-物理MACアドレス-データリンクIPアドレス-ネットワーク終端接続-セッション3ウェイハンドシェイク-トランスポート
どのような配信スキームに精通していますか?

ユニットキャスト:1つの送信者と1つの受信者が存在する1対1の通信。

ブロードキャスト:ネットワーク内のすべての人にメッセージを送信します。アドレスff:ff:ff:ff:ff:ffはブロードキャストに使用されます。ブロードキャストを使用する2つの一般的なプロトコルは、ARPとDHCPです。

マルチキャスト:サブスクライバーのグループにメッセージを送信します。1対多または多対多の場合があります。

CSMA / CDとは何ですか?最新のイーサネットネットワークで使用されていますか?

CSMA / CDは、Carrier Sense Multiple Access /CollisionDetectionの略です。主に、特定の時点で1つのホストのみが送信できる共有メディア/バスへのアクセスを管理することに重点を置いています。

CSMA / CDアルゴリズム:

  1. フレームを送信する前に、別のホストがすでにフレームを送信しているかどうかを確認します。
  2. 誰も送信していない場合は、フレームの送信を開始します。
  3. 2つのホストが同時に送信した場合、衝突が発生します。
  4. 両方のホストがフレームの送信を停止し、衝突が発生したことを全員に通知する「ジャム信号」を全員に送信します
  5. 彼らは再送信する前にランダムな時間を待っています
  6. 各ホストがランダムな時間を待つと、フレームを再度送信しようとします。
次のネットワークデバイスとそれらの違いについて説明してください。
  • ルーター
  • スイッチ
  • ハブ

ルーターはどのように機能しますか?

ルーターは、2つ以上のパケット交換コンピューターネットワーク間で情報を渡す物理アプライアンスまたは仮想アプライアンスです。ルーターは、特定のデータパケットの宛先インターネットプロトコルアドレス(IPアドレス)を検査し、宛先に到達するための最良の方法を計算して、それに応じて転送します。

NATとは何ですか?

ネットワークアドレス変換(NAT)は、ローカルホストへのインターネットアクセスを提供するために、1つ以上のローカルIPアドレスが1つ以上のグローバルIPアドレスに変換されるプロセスです。

プロキシとは何ですか?それはどのように機能しますか?何のために必要ですか?

プロキシサーバーは、ユーザーとインターネットの間のゲートウェイとして機能します。これは、エンドユーザーを閲覧するWebサイトから分離する仲介サーバーです。

プロキシサーバーを使用している場合、インターネットトラフィックは、要求したアドレスに向かう途中でプロキシサーバーを通過します。次に、リクエストは同じプロキシサーバーを介して返され(このルールには例外があります)、プロキシサーバーはWebサイトから受信したデータをユーザーに転送します。

プロキシサーバーは、ユースケース、ニーズ、または会社のポリシーに応じて、さまざまなレベルの機能、セキュリティ、およびプライバシーを提供します。

TCPとは何ですか?それはどのように機能しますか?3ウェイハンドシェイクとは何ですか?

TCP 3ウェイハンドシェイクまたは3ウェイハンドシェイクは、TCP/IPネットワークでサーバーとクライアント間の接続を確立するために使用されるプロセスです。

3ウェイハンドシェイクは、主にTCPソケット接続を作成するために使用されます。次の場合に機能します。

  • クライアントノードは、IPネットワークを介してSYNデータパケットを同じネットワークまたは外部ネットワーク上のサーバーに送信します。このパケットの目的は、サーバーが新しい接続に対して開いているかどうかを確認/推測することです。
  • ターゲットサーバーには、新しい接続を受け入れて開始できるポートが開いている必要があります。サーバーがクライアントノードからSYNパケットを受信すると、サーバーは応答して確認レシート(ACKパケットまたはSYN / ACKパケット)を返します。
  • クライアントノードはサーバーからSYN/ACKを受信し、ACKパケットで応答します。
ラウンドトリップ遅延またはラウンドトリップ時間とは何ですか?

ウィキペディアから:「信号が送信されるのにかかる時間と、その信号の確認応答が受信されるのにかかる時間の長さ」

ボーナスの質問:LANのRTTとは何ですか?

SSLハンドシェイクはどのように機能しますか?
TCPとUDPの違いは何ですか?

TCPはクライアントとサーバー間の接続を確立してパッケージの順序を保証しますが、UDPはクライアントとサーバー間の接続を確立せず、パッケージの順序を処理しません。これにより、UDPはTCPよりも軽量になり、ストリーミングなどのサービスに最適です。

Penguintutor.comは良い説明を提供します。

どのTCP/IPプロトコルに精通していますか?
「デフォルトゲートウェイ」について説明する

デフォルトゲートウェイは、ネットワーク接続されたコンピューターが別のネットワークまたはインターネット上のコンピューターに情報を送信するために使用するアクセスポイントまたはIPルーターとして機能します。

ARPとは何ですか?それはどのように機能しますか?

ARPは、アドレス解決プロトコルの略です。ローカルネットワークのIPアドレス(たとえば192.168.1.1)にpingを実行しようとすると、システムはIPアドレス192.168.1.1をMACアドレスに変換する必要があります。これには、ARPを使用してアドレス、つまりその名前を解決することが含まれます。

システムは、どのIPアドレスがどのMACアドレスに関連付けられているかに関する情報を格納するARPルックアップテーブルを保持します。パケットをIPアドレスに送信しようとすると、システムは最初にこのテーブルを調べて、MACアドレスをすでに知っているかどうかを確認します。キャッシュされた値がある場合、ARPは使用されません。

TTLとは何ですか?それは何を防ぐのに役立ちますか?
DHCPとは何ですか?それはどのように機能しますか?

これは動的ホスト構成プロトコルの略で、IPアドレス、サブネットマスク、およびゲートウェイをホストに割り当てます。仕組みは次のとおりです。

  • ネットワークに入ると、ホストはDHCPサーバーを検索してメッセージをブロードキャストします(DHCP DISCOVER)
  • オファーメッセージは、リース時間、サブネットマスク、IPアドレスなどを含むパケットとしてDHCPサーバーから返送されます(DHCPオファー)
  • 受け入れられたオファーに応じて、クライアントはすべてのDHCPサーバーに通知する応答ブロードキャストを送り返します(DHCP REQUEST)
  • サーバーは確認応答を送信します(DHCP ACK)

詳細はこちら

同じネットワークに2つのDHCPサーバーを配置できますか?使い方?
SSLトンネリングとは何ですか?それはどのように機能しますか?
ソケットとは何ですか?システムのソケットのリストはどこにありますか?
IPv6とは何ですか?IPv4を使用している場合、なぜそれを使用することを検討する必要がありますか?
VLANとは何ですか?
MTUとは何ですか?
MTUよりも大きいパケットを送信するとどうなりますか?
正しいか間違っているか?。信頼できる接続を気にしないため、pingはUDPを使用しています
SDNとは何ですか?
ICMPとは何ですか?それは何のために使われますか?
NATとは何ですか?それはどのように機能しますか?

NATは、ネットワークアドレス変換の略です。これは、情報を転送する前に、複数のローカルプライベートアドレスをパブリックアドレスにマップする方法です。複数のデバイスで単一のIPアドレスを使用する必要がある組織では、ほとんどのホームルーターと同様にNATを使用します。たとえば、コンピュータのプライベートIPは192.168.1.100である可能性がありますが、ルーターはトラフィックをパブリックIP(1.1.1.1など)にマップします。インターネット上のすべてのデバイスは、プライベートIP(192.168.1.100)ではなくパブリックIP(1.1.1.1)からのトラフィックを認識します。

ネットワークパフォーマンスに影響を与える要因
次の各プロトコルで使用されるポート番号はどれですか?:
  • SSH
  • SMTP
  • HTTP
  • DNS
  • HTTPS
  • FTP
  • SFTP

  • SSH-22
  • SMTP-25
  • HTTP-80
  • DNS-53
  • HTTPS-443
  • FTP-21
  • SFTP-22

ネットワーク-データプレーンとコントロールプレーン

「コントロールプレーン」とは何ですか?

コントロールプレーンは、パケットを別の場所にルーティングおよび転送する方法を決定するネットワークの一部です。

「データプレーン」とは何ですか?

データプレーンは、実際にデータ/パケットを転送するネットワークの一部です。

「管理面」とは何ですか?

監視および管理機能を指します。

ルーティングテーブルを作成しているプレーン(データ、コントロール、...)はどのプレーンに属しますか?

コントロールプレーン。

スパニングツリープロトコル(STP)について説明する
リンクアグリゲーションとは何ですか?なぜ使われるのですか?
非対称ルーティングとは何ですか?どのように対処しますか?
どのオーバーレイ(トンネル)プロトコルに精通していますか?
GREとは何ですか?それはどのように機能しますか?
VXLANとは何ですか?それはどのように機能しますか?
SNATとは何ですか?
OSPFについて説明する
レイテンシーとは何ですか?

レイテンシーは、情報がソースから宛先に到達するのにかかる時間です。

帯域幅とは何ですか?

帯域幅は、通信チャネルが特定の期間に処理できるデータ量を測定するための通信チャネルの容量です。より多くの帯域幅は、より多くのトラフィック処理、したがってより多くのデータ転送を意味します。

スループットとは何ですか?

スループットとは、任意の伝送チャネルを介して特定の期間に転送された実際のデータ量の測定値を指します。

検索クエリを実行する場合、レイテンシとスループットのどちらがより重要ですか?そして、グローバルインフラストラクチャを管理するものを保証する方法は?

レイテンシー。待ち時間を長くするには、検索クエリを最も近いデータセンターに転送する必要があります。

動画をアップロードするとき、待ち時間とスループットのどちらがより重要ですか?そしてそれを保証する方法は?

スループット。スループットを向上させるには、アップロードストリームを十分に活用されていないリンクにルーティングする必要があります。

リクエストを転送する場合、他にどのような考慮事項(レイテンシとスループットを除く)がありますか?
  • キャッシュを最新の状態に保ちます(つまり、リクエストは最も近いデータセンターに転送されない可能性があります)
脊椎と葉について説明する
ネットワーク輻輳とは何ですか?何が原因ですか?
UDPパケット形式について教えてください。TCPパケット形式はどうですか?どう違うの?
指数バックオフアルゴリズムとは何ですか?どこで使われていますか?
ハミングコードを使用すると、次のデータワード100111010001101のコードワードは何になりますか?

00110011110100011101

アプリケーション層で見つかったプロトコルの例を挙げてください
  • ハイパーテキスト転送プロトコル(HTTP)-インターネット上のWebページに使用されます
  • Simple Mail Transfer Protocol(SMTP)-電子メール送信
  • Telecommunications Network-(TELNET)-クライアントがTelnetサーバーにアクセスできるようにする端末エミュレーション
  • ファイル転送プロトコル(FTP)-任意の2台のマシン間でのファイル転送を容易にします
  • ドメインネームシステム(DNS)-ドメイン名の翻訳
  • 動的ホスト構成プロトコル(DHCP)-IPアドレス、サブネットマスク、およびゲートウェイをホストに割り当てます
  • Simple Network Management Protocol(SNMP)-ネットワーク上のデバイスのデータを収集します
ネットワーク層で見つかったプロトコルの例を挙げてください
  • インターネットプロトコル(IP)-あるマシンから別のマシンへのパケットのルーティングを支援します
  • インターネット制御メッセージプロトコル(ICMP)-エラーメッセージやデバッグ情報など、何が起こっているのかを知らせます
HSTSとは何ですか?
HTTP Strict Transport Securityは、ユーザーエージェントとWebブラウザーに、最初に送信されてブラウザーに返される応答ヘッダーを介して接続を処理する方法を通知するWebサーバーディレクティブです。これにより、HTTPSを介した接続が強制され、HTTPを介してそのドメイン内のリソースをロードするスクリプトの呼び出しは無視されます。

詳細[こちら](https://www.globalsign.com/en/blog/what-is-hsts-and-how-do-i-use-it#:~:text=HTTP%20Strict%20Transport%20Security %20(HSTS、および%20back%20to%20the%20browser。)

ネットワーク-その他

インターネットとは何ですか?ワールドワイドウェブと同じですか?

インターネットとは、世界中に大量のデータを転送するネットワークのネットワークを指します。
World Wide Webは、インターネット上で数百万のサーバー上で実行されるアプリケーションであり、Webブラウザと呼ばれるものを介してアクセスされます。

ISPとは何ですか?

ISP(インターネットサービスプロバイダー)は、地元のインターネット会社プロバイダーです。

Linux

Linuxマスターアプリケーション

Linuxで知識をテストするための完全に無料のアプリケーション

Linux自己評価

Linuxでのあなたの経験は何ですか?

あなただけが知っている:)

例えば:

  • 管理
  • トラブルシューティングとデバッグ
  • 保管所
  • ネットワーキング
  • 発達
  • 展開
次の各コマンドの機能を説明し、その使用方法の例を示します。
  • 接する
  • ls
  • rm
  • cp
  • mkdir
  • pwd
  • CD

  • touch-ファイルのタイムスタンプを更新します。ファイルの作成によく使用されます
  • ls-ファイルとディレクトリの一覧表示
  • rm-ファイルとディレクトリを削除します
  • cat-ファイルの作成、表示、連結
  • cp-ファイルとディレクトリをコピーします
  • mkdir-ディレクトリを作成します
  • pwd-現在の作業ディレクトリを出力します(=ユーザーが現在配置しているパス)
  • cd-ディレクトリを変更します
次の各コマンドは何をしますか?
  • CD /
  • cd〜
  • CD
  • CD ..
  • CD 。
  • CD -

  • cd/->ルートディレクトリに移動します
  • cd〜->ホームディレクトリに移動
  • cd->ホームディレクトリに移動
  • cd..->現在のつまり親ディレクトリの上のディレクトリに移動します
  • CD 。->現在いるディレクトリに移動します
  • cd-->最後にアクセスしたパスに変更
前の質問のコマンドの一部は、-r/-Rフラグを使用して実行できます。それは何をするためのものか?いつ使用するか例を挙げてください

-r(または一部のコマンドでは-R)フラグを使用すると、ユーザーは特定のコマンドを再帰的に実行できます。たとえば、再帰的に実行すると、次のツリーの下にすべてのファイルを一覧表示できます(

ls -R
)。

/ dir1 / dir2 / file1 file2 dir3 / file3

すべてのファイルを一覧表示するには、次のコマンドを実行できます

ls -R /dir1

`ls-l`コマンドの出力の各フィールドを説明します
ファイルの詳細なリストが長い形式で表示されます。左から:
  • ファイルのアクセス許可、リンクの数、所有者名、所有者グループ、ファイルサイズ、最終変更のタイムスタンプ、およびディレクトリ/ファイル名
隠しファイル/ディレクトリとは何ですか?それらをリストする方法は?

これらは、標準のls直接リストを実行した後に直接表示されないファイルです。これらのファイルの例は、いくつかのスクリプトを実行するために使用される.bashrcです。.KUBECONFIGのように、ホスト上のサービスに関する構成を保存するものもあります。それらを一覧表示するために使用されるコマンドは、

ls -a

プログラムの入出力に関して、>と<は何をしますか?
stdinとstdoutを使用して、特定のファイル(>)の入力(<)と出力を取り込みます。

myProgram < input.txt > executionOutput.txt

次の各コマンドの機能を説明し、その使用方法の例を示します。
  • sed
  • grep
  • 切る
  • awk

  • sed:ストリームエディタ。ファイル内の単語を置き換えるなど、さまざまな目的に使用できます。
    sed -i s/salad/burger/g
  • grep:検索ツール。ファイル内のテキストを検索、カウント、または照合するために使用されます。
    • ファイル内の単語を含む行を検索します。
      grep 'word' file.md
    • または、文字列がファイルに表示される合計回数を表示します。
      grep -c 'This is a string' file.md
  • カット:ファイルの各行の選択された部分を切り取るためのツール:
    • 構文:
      cut OPTION [FILE]
      • ファイル内の単語から最初の2バイトを切り取ります:
        cut -b 1-2 file.md
        、出力:
        wo
ファイルまたはディレクトリの名前を変更するにはどうすればよいですか?

コマンドを使用し

mv
ます。

次の各シナリオで使用するコマンド(およびその方法)を指定します
  • ファイルのあるディレクトリを削除します
  • ファイルの内容を表示する
  • すべての人にファイル/tmp/xへのアクセスを提供します
  • 作業ディレクトリをユーザーのホームディレクトリに変更します
  • / tmp/yファイル内の「good」という単語のすべての出現箇所を「great」に置き換えます

  • rm -rf dir
  • cat or less
  • chmod 777 /tmp/x
  • cd ~
  • sed -i s/good/great/g /tmp/y
特定のコマンドのパスを確認するにはどうすればよいですか?
  • whereis
  • どれの
これら2つのコマンドの違いは何ですか?同じ出力になりますか?
echo hello world
echo "hello world"

echoコマンドは、最初の実行で2つの個別の引数を受け取り、2番目の実行で文字列「helloworld」である1つの引数を取得します。出力は同じになります。

配管について説明します。どのように配管を行いますか?

Linuxでパイプを使用すると、あるコマンドの出力を別のコマンドの入力に送信できます。例えば:

cat /etc/services | wc -l

次のコマンドを修正します。
  • sed "s / 1/2 / g'/ tmp / myFile
  • 探す 。-iname * .yaml -exec sed -i "s / 1/2 / g" {};

sed 's/1/2/g' /tmp/myFile  # sed "s/1/2/g" is also fine
find . -iname "*.yaml" -exec sed -i "s/1/2/g" {} \;

過去に実行したコマンドを確認するにはどうすればよいですか?

履歴コマンドまたは.bash_historyファイル

コマンドを実行する
df
と、「コマンドが見つかりません」というメッセージが表示されます。何が間違っている可能性があり、それを修正する方法は?

ほとんどの場合、デフォルト/生成された$ PATHが何らかの形で変更またはオーバーライドされたため

/bin/
、dfが通常移動する場所が含まれていません。この問題は、bash_profileまたはインタープリターの構成ファイルが誤って変更された場合にも発生する可能性があり、不安定な動作を引き起こします。$ PATH変数を修正することで、これを解決できます。

それを修正するために、いくつかのオプションがあります:

  1. $PATHに必要なものを手動で追加する
    PATH="$PATH":/user/bin:/..etc
  2. 奇妙な環境変数がバックアップされています。
  3. ディストリビューションのデフォルトの$PATH変数を探し、メソッド#1を使用してコピーして貼り付けます

注:このようなエラーを取得する方法はたくさんあります。bash_profileまたはインタープリターの構成ファイルが誤って変更された場合。不安定な動作、権限の問題、コンパイルされたソフトウェアの不良(自分でコンパイルした場合)を引き起こします... 100%常に正しい答えはありません。

タスクを定期的にどのようにスケジュールしますか?

コマンド

cron
とを使用できます
at
。cronでは、タスクは次の形式を使用してスケジュールされます。

*/30 * * * * bash myscript.sh
30分ごとにスクリプトを実行します。

タスクはcronファイルに保存され、次を使用して書き込むことができます。

crontab -e

または、systemdでディストリビューションを使用している場合は、systemdタイマーを使用することをお勧めします。

Linux-I/Oリダイレクト

Linux I/Oリダイレクトについて説明する
Linux出力リダイレクトのデモンストレーション

ls> ls_output.txt

Linuxstderr出力リダイレクトのデモンストレーション

yippiekaiyay 2> ls_output.txt

Linuxstderrをstdoutリダイレクトにデモンストレーションします

yippiekaiyay 1>&2

次のコマンドを実行した結果はどうなりますか?
yippiekaiyay 1>&2 die_hard

次のような出力:

yippikaiyay: command not found...

ファイル
die_hard
は作成されません

Linux FHS

Linux FHS(Filesystem Hierarchy Standard)では、何
/
ですか?

ファイルシステムのルート。木の始まり。

次の各パスには何が格納されていますか?
  • / bin、/ sbin、/ usr / bin、および/ usr / sbin
  • /等
  • /家
  • / var
  • / tmp

  • バイナリ
  • 構成ファイル
  • さまざまなユーザーのホームディレクトリ
  • ログのように変更および変更される傾向のあるファイル
  • 一時ファイル
他のディレクトリと比較した場合、/ tmpディレクトリの何が特別ですか?

/tmp
通常、再起動時にフォルダが自動的にクリーンアップされます。

/ procにはどのような情報がありますか?
/ procは他のファイルシステムと何が違うのですか?
正しいか間違っているか?ルートのみが/procにファイルを作成できます

間違い。/ procに直接ファイルを作成することはできません(特定の操作により、カーネルによって/ procにファイルが作成される可能性があります)。

/ proc / cmdlineには何がありますか?

カーネルを実行するためにブートローダーに渡されるコマンド

システムデバイス(ブロックストレージなど)はどのパスで見つけることができますか?

Linux-権限

ファイルのアクセス許可を変更するにはどうすればよいですか?

コマンドを使用し

chmod
ます。

次の権限とはどういう意味ですか?:
  • 777
  • 644
  • 750

777 - You give the owner, group and other: Execute (1), Write (2) and Read (4); 4+2+1 = 7.
644 - Owner has Read (4), Write (2), 4+2 = 6; Group and Other have Read (4).
750 - Owner has x+r+w, Group has Read (4) and Execute (1); 4+1 = 5. Other have no permissions.

このコマンドは何をしますか?
chmod +x some_file

すべてのセット、つまりユーザー、グループなどに実行権限を追加します
setgidとsetuidとは何かを説明する
  • setuidは、ユーザーがそのファイルの所有者のアクセス許可でファイルまたはプログラムを実行できるようにするLinuxファイルのアクセス許可です。これは、現在のユーザー権限を昇格させることで可能になります。
  • setgidは、実行時にファイルを所有するグループとして実行されるプロセスです。
スティッキービットの目的は何ですか?
所有者またはrootユーザーのみがファイルを削除または変更できるようにするビットです。
次のコマンドは何をしますか?
  • chmod
  • chown
  • chgrp

  • chmod-ファイルシステムオブジェクトへのアクセス許可を変更します
  • chown-ファイルシステムファイルとディレクトリの所有者を変更します
  • chgrp-ファイルシステムオブジェクトに関連付けられているグループを変更します
sudoとは何ですか?どのように設定しますか?
正しいか間違っているか?システムにパッケージをインストールするには、rootユーザーであるか、sudoコマンドを使用する必要があります

真実

ACLとは何かを説明します。どのようなユースケースでそれらを使用することをお勧めしますか?
ファイルを作成しようとしましたが、失敗します。それが発生する可能性がある理由について、少なくとも3つの異なる理由を挙げてください
  • これ以上のディスク容量はありません
  • これ以上iノードはありません
  • 権限なし
ユーザーが誤って以下を実行しました
chmod -x $(which chmod)
。それを修正する方法は?

を使用すると、すべてのユーザー

sudo setfacl -m u::rx /usr/bin/chmod
の実行権限がオンに設定されます。
chmod
これを投稿すると、
chmod
バイナリは通常どおり使用できます。

Linux-systemd

systemdとは何ですか?
Systemdはデーモンです(System'd'、dはデーモンを表します)。

デーモンは、ユーザーがいつでもデーモンと通信できる場合でも、ユーザーを直接制御せずにバックグラウンドで実行されるプログラムです。

systemdには、ユーザープロセスの制御/追跡、スナップショットのサポート、抑制ロックなどの多くの機能があります。

UNIX / Linuxシステムをレイヤーで視覚化すると、systemdはLinuxカーネルの直後に配置されます。
ハードウェア->カーネル->デーモン、システムライブラリ、サーバーディスプレイ。

サービスを開始または停止する方法は?

サービスを開始するには:サービス

systemctl start <service name>
を停止するには:
systemctl stop <service name>

サービスのステータスを確認するにはどうすればよいですか?

systemctl status <service name>

systemdを使用するシステムで、ログをどのように表示しますか?

journalctl

特定のプロセス/アプリをサービスにする方法を説明する
Linux-トラブルシューティングとデバッグ
システムログはどこにありますか?

/ var / log

毎回ファイルを開かずに、追加されたファイルの内容を追跡するにはどうすればよいですか?

tail -f <file_name>

ネットワークの問題のトラブルシューティングとデバッグに何を使用していますか?

dstat -t
ネットワークとディスクの問題を特定するのに最適です。
netstat -tnlaup
どのプロセスがどのポートで実行されているかを確認するために使用できます。
lsof -i -P
netstatと同じ目的で使用できます。
ngrep -d any metafilter
パケットのペイロードに対して正規表現を照合するため。
tcpdump
パケットをキャプチャするための
wireshark
tcpdumpと同じ概念ですが、GUIを使用します(オプション)。

ディスクとファイルシステムの問題のトラブルシューティングとデバッグに何を使用していますか?

dstat -t
ネットワークとディスクの問題を特定するのに最適です。
opensnoop
システムで開かれているファイルを(リアルタイムで)確認するために使用できます。

プロセスの問題のトラブルシューティングとデバッグに何を使用していますか?

strace
プログラムの機能を理解するのに最適です。プログラムが実行したすべてのシステムコールを出力します。

CPU関連の問題のデバッグに何を使用していますか?

top
各プロセスが消費するCPUパーセンテージ
perf
がプロファイラーのサンプリングに最適であり、一般に、CPUサイクルが「浪費」されているものを把握すること
flamegraphs
は、CPU消費の視覚化に最適です(http://www.brendangregg.com/flamegraphs .html

「私のシステムは遅い」と主張する誰かから電話があります。職業はなんですか?
  • top
    異常がないか確認してください
  • 実行
    dstat -t
    して、ディスクまたはネットワークに関連しているかどうかを確認します。
  • に関連するネットワークかどうかを確認します
    sar
  • I/O統計を確認する
    iostat
iostatの出力を説明する
バイナリをデバッグする方法は?
CPU負荷と使用率の違いは何ですか?
プログラムの実行時間をどのように測定しますか?

Linux-カーネル

カーネルとは何ですか、そしてそれは何をしますか?

カーネルはオペレーティングシステムの一部であり、次のようなタスクを担当します。

  • メモリの割り当て
  • プロセスのスケジュール
  • 制御CPU
システムが使用しているカーネルバージョンをどのように確認しますか?

uname -a
指図

Linuxカーネルモジュールとは何ですか?新しいモジュールをどのようにロードしますか?
ユーザースペースとカーネルスペースについて説明する

オペレーティングシステムは、保護されたメモリ内でカーネルを実行して、誰かが変更するのを防ぎます(そして、カーネルがクラッシュする危険を冒します)。これが「カーネル空間」と呼ばれるものです。「ユーザースペース」は、ユーザーがコマンドまたはアプリケーションを実行する場所です。カーネルを改ざんしてクラッシュさせないようにユーザーアプリケーションに依存することはできないため、この分離を作成することが重要です。

アプリケーションは、いわゆる「システムコール」を行うことにより、システムリソースにアクセスし、間接的にカーネルスペースにアクセスできます。

カーネルライフサイクルのどのフェーズで、その構成を変更できますか?
  • ビルド時間(コンパイル時)
  • 起動時間(起動時)
  • ランタイム(すでに実行されている場合)
カーネルの構成はどこにありますか?

通常、それはに存在します

/boot/config-<kernel version>.<os release>.<arch>

カーネルを実行するためにブートローダーに渡されるコマンドを含むファイルはどこにありますか?

/proc/cmdline

カーネルのランタイムパラメータを一覧表示する方法は?

sysctl -a

sysctl -a
通常のユーザーとrootとして実行すると、異なる結果が生成されますか?

systctl -a
はい、ほとんどのシステムでは、rootで実行すると、通常のユーザーで同じコマンドを実行する場合に比べて、より多くのランタイムパラメーターを取得できること に気付くかもしれません。

カーネルでIPv4転送を有効にしたいのですが、どうしますか?

sudo sysctl net.ipv4.ip_forward=1

永続的にするには(たとえば、再起動後に適用されます):に挿入

net.ipv4.ip_forward = 1
します
/etc/sysctl.conf

別の方法は実行することです

echo 1 | sudo tee /proc/sys/net/ipv4/ip_forward

sysctl
sysctlコマンドを実行した瞬間に、カーネルのランタイムパラメータに変更をどのように適用しますか?

sysctlコマンドを

strace
使用すると、/ proc / sys/..の下のファイルを変更することでそれが実行されることがわかります。

以前はsysctlシステムコールで実行されていましたが、ある時点で非推奨になりました。

カーネルランタイムパラメータへの変更はどのように持続しますか?(たとえば、システムを再起動した後でも適用されます)

systemd-sysctl
/etc/sysctl.confのコンテンツを取得して適用するというサービスがあります。これは、変更が/etc/sysctl.confに書き込まれている場合、再起動後も変更が持続する方法です。

コンテナー内のカーネルパラメーターに加えた変更は、コンテナーが実行されているホストのカーネルパラメーターにも影響しますか?

いいえ。コンテナには独自の/procファイルシステムがあるため、コンテナ内のカーネルパラメータを変更しても、ホストやそのホストで実行されている他のコンテナには影響しません。

Linux-SSH

SSHとは何ですか?LinuxサーバーがSSHを実行しているかどうかを確認するにはどうすればよいですか?

ウィキペディアの定義:「SSHまたはSecure Shellは、セキュリティで保護されていないネットワーク上でネットワークサービスを安全に運用するための暗号化ネットワークプロトコルです。」

Hostinger.comの定義:「SSH(Secure Shell)は、ユーザーがインターネット経由でリモートサーバーを制御および変更できるようにするリモート管理プロトコルです。」

SSHサーバーではSSHデーモンが実行されます。ディストリビューションによっては、サービスが実行されているかどうかを確認できるはずです(systemctl status sshdなど)。

SSHがtelnetよりも優れていると考えられるのはなぜですか?

Telnetを使用すると、リモートホストに接続することもできますが、通信が暗号化されるSSHとは対照的に、telnetでは、データはクリアテキストで送信されるため、ネットワーク上の誰もが正確に何を見ることができるため、セキュリティで保護されているとは見なされません。パスワードを含めて送信されます。

何に保存され
~/.ssh/known_hosts
ますか?

このファイルには、SSHサーバーに接続しているクライアントの主要なフィンガープリントが保存されています。このフィンガープリントは、将来のSSH接続のためにクライアントとサーバーの間に信頼を作成します。

サーバーにSSHで接続しようとすると、「ホストキーの検証に失敗しました」というメッセージが表示されます。どういう意味ですか?

これは、リモートホストのキーが変更され、マシン(〜/ .ssh / known_hosts内)に保存されているキーと一致しないことを意味します。

SSHとSSLの違いは何ですか?
ssh-keygen
に使われますか?

ssh-keygen
は、秘密鍵と公開鍵で構成されるSSHの認証鍵ペアを生成するためのツールです。認証キーを生成するためのいくつかのアルゴリズムをサポートしています。

  • dsa
  • ecdsa
  • ecdsa-sk
  • ed25519
  • ed25519-sk
  • rsa(デフォルト)

キーのビット数を指定することもできます。以下のコマンドは、RSA4096ビットのSSHキーペアを生成します。

$ ssh-keygen -t rsa -b 4096

出力は次のようになります。

Generating public/private rsa key pair.
Enter file in which to save the key (/home/user/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/user/.ssh/id_rsa
Your public key has been saved in /home/user/.ssh/id_rsa.pub
The key fingerprint is:
SHA256:f5MOGnhzYfC0ZCHvbSXXiRiNVYETjxpHcXD5xSojx+M [email protected]
The key's randomart image is:
+---[RSA 4096]----+
|        . ..+***o|
|         o o++*o+|
|        . =+.++++|
|         B.oX+. .|
|        S *=o+   |
|       . o oE.   |
|      . + + +    |
|       . = + .   |
|        .   .    |
+----[SHA256]-----+

SSHキーのビット数を確認できます:

$ ssh-keygen -l -f /home/user/.ssh/id_rsa

出力は次のようになります。

4096 SHA256:f5MOGnhzYfC0ZCHvbSXXiRiNVYETjxpHcXD5xSojx+M [email protected] (RSA)

キーがRSA4096ビットであることを示しています。

-l
および
-f
パラメータの使用法の説明:

-l          Show the fingerprint of the key file.
-f filename Filename of the key file.

詳細:sshキーのビット数を確認するにはどうすればよいですか?-スーパーユーザー

SSHポートフォワーディングとは何ですか?

Linux-グロブ、ワイルドカード

グロブとは何ですか?
ワイルドカードとは何ですか?それらの使い方の例を教えてください。
何が
ls [XYZ]
一致するかを説明する

何が
ls [^XYZ]
一致するかを説明する

何が
ls [0-5]
一致するかを説明する

次のそれぞれが一致するもの
  • *

  • ?任意の1文字に一致します
  • *は0個以上の文字に一致します
次の各コマンドで何をgrepしますか?:
  • grep '[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}' some_file
  • grep -E "error|failure" some_file
  • grep '[0-9]$' some_file

  1. IPアドレス
  2. 「エラー」または「失敗」という言葉
  3. 数字で終わる行
次のコンテンツで`grep'\baaa \ b'`を実行すると、どの行番号が出力されますか。

aaa bbb ccc.aaa aaaaaa


1行目と3行目。

一重引用符と二重引用符の違いは何ですか?
エスケープとは何ですか?エスケープにはどのエスケープ文字が使用されますか?
終了コードとは何ですか?どの終了コードに精通していますか?

終了コード(または戻りコード)は、子プロセスからその親プロセスに返されるコードを表します。

0は成功を表す終了コードであり、1より大きいものはエラーを表します。アプリケーションの開発方法に基づいて、各番号の意味は異なります。

私はこれをそれについてもっと読むための良いブログ投稿だと思います:https ://shapeshed.com/unix-exit-codes

Linuxブートプロセス

Linuxの起動プロセスについて知っていることをすべて教えてください

これを尋ねる別の方法:サーバーの電源を入れた瞬間からプロンプトが表示されるまでに何が起こるか

GRUB2とは何ですか?
セキュアブートとは何ですか?
/ bootで何を見つけることができますか?
Linuxディスクおよびファイルシステム
iノードとは何ですか?

Linuxの各ファイル(およびディレクトリ)には、サイズ、所有者、アクセス許可など、ファイルに関連するメタデータを格納するiノード(データ構造)があります。

次のうち、iノードに含まれていないものはどれですか。
  • リンク数
  • ファイルサイズ
  • ファイル名
  • ファイルのタイムスタンプ

ファイル名(ディレクトリファイルの一部です)

現在マウントされているディスクを確認するにはどうすればよいですか?

走る

mount

コマンドを実行しました
mount
が、出力がありません。システムにどのマウントがあるかをどのように確認しますか?

cat /proc/mounts

ソフトリンクとハードリンクの違いは何ですか?

ハードリンクは同じファイルであり、同じiノードを使用しています。ソフトリンクは、別のiノードを使用した別のファイルへのショートカットです。

正しいか間違っているか?ディレクトリのハードリンクを作成できます

間違い

正しいか間違っているか?異なるファイルシステム間にソフトリンクを作成できます

真実

正しいか間違っているか?ディレクトリには常に最低2つのリンクがあります

真実。

ソフトリンクとハードリンクの場合、元のファイルを削除するとどうなりますか?
/ homeで使用されているファイルシステムの種類を確認できますか?

この質問には多くの答えがあります。1つの方法が実行されています

df -T

スワップパーティションとは何ですか?それは何のために使われますか?
作成する方法
  • 新しい空のファイル
  • テキスト付きのファイル(テキストエディタを使用せずに)
  • 指定されたサイズのファイル

新しいファイルを作成しようとしていますが、「ファイルシステムがいっぱいです」というメッセージが表示されます。dfで空き領域を確認すると、領域の20%しか使用していないことがわかります。何が問題なのですか?
特定のディレクトリのサイズをどのように確認しますか?

du -sh

LVMとは何ですか?
LVMに関して次のことを説明してください。
  • PV
  • VG
  • LV

NFSとは何ですか?それは何のために使われますか?
RAIDはどのように使用されますか?RAID 0、1、5、10の違いを説明できますか?
ファイルシステムのディスクスペースを拡張するプロセスを説明する
怠惰なumountとは何ですか?
tmpfsとは何ですか?
次の各ログには何が保存されますか?
  • / var / log / messages
  • /var/log/boot.log

正しいか間違っているか?システムの起動時に/tmpと/var/tmpの両方がクリアされました

間違い。/ tmpはシステムの起動時にクリアされますが、/ var / tmpは数日ごとにクリアされるか、まったくクリアされません(ディストリビューションによって異なります)。

Linuxパフォーマンス分析

現在の負荷平均を確認するにはどうすればよいですか?

uptime
またはを使用できます
top

あなたは負荷平均を見る方法を知っています、素晴らしい。しかし、それの各部分はどういう意味ですか?たとえば、1.43、2.34、2.78

この記事では、負荷平均のトピックを優れた方法で要約しています

プロセスの使用状況を確認する方法は?

pidstat

ディスクI/Oを確認する方法は?

iostat -xz 1

システムにどれだけの空きメモリがあるかを確認するにはどうすればよいですか?各プロセスのメモリ消費量を確認するにはどうすればよいですか?

コマンドを使用して

top
free

TCP統計を確認する方法は?

sar -n TCP、ETCP 1

Linuxプロセス

システムで実行されているすべてのプロセスを一覧表示する方法は?

ps -ef

バックグラウンドでプロセスを実行する方法と、そもそもなぜそれを実行するのですか?

これは、コマンドの最後に&を指定することで実現できます。理由として、一部のコマンド/プロセスは実行の終了または永久に実行するのに時間がかかる可能性があるため、現在のセッションで再び制御を取得する前に、コマンド/プロセスが終了するのを待つのではなく、バックグラウンドで実行することをお勧めします。

特定のプロセスが消費するメモリの量をどのように見つけることができますか?
mem()
{                                                                                                      
    ps -eo rss,pid,euser,args:100 --sort %mem | grep -v grep | grep -i [email protected] | awk '{printf $1/1024 "MB"; $1=""; print }'
}
[ソース](https://stackoverflow.com/questions/3853655/in-linux-how-to-tell-how-much-memory-processes-are-using
'kill * process id *'を実行すると、デフォルトでどのシグナルが使用されますか?
The default signal is SIGTERM (15). This signal kills
process gracefully which means it allows it to save current
state configuration.
あなたはどのような信号に精通していますか?

SIGTERM-プロセスを終了するためのデフォルトのシグナルSIGHUP-一般的な使用法は構成をリロードするためのものですSIGKILL-キャッチまたは無視できないシグナル

利用可能なすべての信号を表示するには、

kill -l

kill 0
ですか?

kill -0 
ですか?

トラップとは何ですか?
数日ごとに、特定のプロセスの実行が停止します。なぜそれが起こっているのかをどのように調べることができますか?
ctrl + cを押すとどうなりますか?
Linuxのデーモンとは何ですか?

バックグラウンドプロセス。これらのプロセスのほとんどは、実際に何かを実行する前に、要求または一連の条件が満たされるのを待っています。いくつかの例:sshd、crond、rpcbind。

Linuxでのプロセスの可能な状態は何ですか?
Running (R)
Uninterruptible Sleep (D) - The process is waiting for I/O
Interruptible Sleep (S)
Stopped (T)
Dead (x)
Zombie (z)
D状態のプロセスをどのように強制終了しますか?
ゾンビプロセスとは何ですか?

実行が終了したが終了していないプロセス。

これが発生する理由の1つは、親プロセスが正しくプログラムされていない場合です。すべての親プロセスはwait()を実行して、実行が終了した子プロセスから終了コードを取得する必要があります。ただし、親が子の終了コードをチェックしていない場合、実行が終了しても子プロセスはまだ存在している可能性があります。

ゾンビプロセスを取り除く方法は?

kill -9
たとえば、ゾンビプロセスはすでに死んでいるため、通常の方法でゾンビプロセスを殺すことはできません。

ゾンビプロセスを強制終了する1つの方法は、SIGCHLDを親プロセスに送信して、子プロセスを終了するように指示することです。親プロセスが適切にプログラムされていない場合、これは機能しない可能性があります。呼び出しは

kill -s SIGCHLD [parent_pid]

親プロセスを閉じたり終了したりすることもできます。これにより、ゾンビプロセスがinit(1)の子になり、定期的なクリーンアップが実行され、ある時点でゾンビプロセスがクリーンアップされます。

すべてを見つける方法
  • 特定のユーザーによって実行/所有されているプロセス
  • Javaプロセスであるプロセス
  • ゾンビプロセス

arugmentsを使用したpsコマンドについて言及する場合は、これらの引数が正確に何をするかをよく理解してください。

initプロセスとは何ですか?
これは、システムの起動中にカーネルによって実行される最初のプロセスです。これは、システムがシャットダウンされるまで実行されるデーモンプロセスです。そのため、すべてのプロセスの親になります
プロセスがどのように作成されているか説明できますか?
プロセスの優先度を変更するにはどうすればよいですか?なぜあなたはそれをしたいのですか?
ネットワークプロセス/接続がどのように確立され、どのように終了するかを説明できますか?>
strace
ですか?どう
ltrace
ですか?

'.yml'で終わるすべてのファイルを検索し、各ファイルの2の1を置き換えます

/ some_dir -iname * .yml-print0|を検索します。xargs -0 -r sed -i "s / 1/2 / g"

lsを実行すると、「/ lib/ld-linux-armhf.so.3そのようなファイルまたはディレクトリはありません」というメッセージが表示されます。何が問題ですか?

ls実行可能ファイルは、互換性のないアーキテクチャ用に構築されています。

50行のファイルをそれぞれ25行の2つのファイルにどのように分割しますか?

split
このコマンドは次のように使用できます。
split -l 25 some_file

ファイル記述子とは何ですか?どのファイル記述子に精通していますか?
Kerberosファイル記述子は、ファイルハンドラとも呼ばれ、オペレーティングシステムで開いているファイルを識別する一意の番号です。

Linux(およびUnix)では、最初の3つのファイル記述子は次のとおりです。

  • 0-入力のデフォルトのデータストリーム
  • 1-出力のデフォルトのデータストリーム
  • 2-エラーに関連する出力のデフォルトのデータストリーム

これはこのトピックに関するすばらしい記事です:https ://www.computerhope.com/jargon/f/file-descriptor.htm

NTPとは何ですか?それは何のために使われますか?
カーネルOOMについて説明する
Linuxセキュリティ
chrootとは何ですか?どのようなシナリオでそれを使用することを検討しますか?
SELiunxとは何ですか?
Kerberosとは何ですか?
nftablesとは何ですか?
どのfirewalldデーモンが担当していますか?
サーバーの強化の経験はありますか?プロセスについて説明していただけますか?
Linux-ネットワーキング
すべてのインターフェースを一覧表示するにはどうすればよいですか?
ip link show

ループバック(lo)インターフェイスとは何ですか?

ループバックインターフェイスは、コンピュータがそれ自体と通信するために使用する特別な仮想ネットワークインターフェイスです。これは主に診断とトラブルシューティング、およびローカルマシンで実行されているサーバーへの接続に使用されます。

次のコマンドは何に使用されますか?
  • ipaddr
  • ipルート
  • IPリンク
  • ping
  • netstat
  • traceroute

ネットワーク名前空間とは何ですか?それは何のために使われますか?
特定のポートが使用されているかどうかを確認するにはどうすればよいですか?

次のいずれかが機能します。

netstat -tnlp | grep <port_number>
lsof -i -n -P | grep <port_number>

Linuxサーバーをルーターに変えるにはどうすればよいですか?
仮想IPとは何ですか?どのような状況で使用しますか?
正しいか間違っているか?インターフェイスのMACアドレスは、OSによって割り当て/設定されます

間違い

特定のシステムに複数のデフォルトゲートウェイを設定できますか?

技術的にはそうです。

telnetとは何ですか?また、Telnetを本番環境で使用するのはなぜ悪い考えですか?(またはまったく)

Telnetは、リモートコンピュータ(通常はサーバー)でコマンドラインを開くために使用できるクライアントサーバープロトコルの一種です。デフォルトでは、telnetを介して送受信されるすべてのデータはクリア/プレーンテキストで送信されるため、クライアントとサーバー間のデータを暗号化しないため、使用しないでください。

ルーティングテーブルとは何ですか?どのように見ていますか?
シェルからHTTPリクエストを送信するにはどうすればよいですか?

ncの使用は1つの方法です
パケットスニファとは何ですか?過去に使用したことがありますか?はいの場合、どのパケットスニファをどのような目的で使用しましたか?
これは、対象のネットワーク上を移動するデータストリームを分析し、タスクを注入する可能性のあるネットワークユーティリティです。
アクティブな接続を一覧表示する方法は?
IPv6で近隣探索をトリガーする方法は?

1つの方法は

ping6 ff02::1

ネットワークインターフェイスボンディングとは何ですか?Linuxでどのように実行されるか知っていますか?
どのようなネットワークボンディングモードがありますか?

いくつかのモードがあります:

  • balance-rr:ラウンドロービングボンディング
  • active-backup:1つだけがアクティブなフォールトトレランスモード
  • balance-tlb:適応型送信ロードバランシング
  • balance-alb:適応型負荷分散
橋とは何ですか?Linux OSでどのように追加されますか?
Linux-DNS
システムのホスト名を確認するにはどうすればよいですか?

cat /etc/hostname

hostnamectl
またはを実行することもできますが
hostname
、一時的なホスト名のみが出力される場合があります。ファイル内のものは永続的なものです。

ファイル
/etc/resolv.conf
は何に使用されますか?何が含まれていますか?

DNSクエリを実行する(またはDNS関連の問題をトラブルシューティングする)ためにどのコマンドを使用していますか?

次の1つ以上を指定できます。

  • dig
  • host
  • nslookup
実行する
dig codingshell.com
と、次の結果が得られます。
ANSWER SECTION:
codingshell.com.	3515	IN	A	185.199.109.153

3515という数字の意味は何ですか?


これはTTLです。ドメイン/ホスト名を使用してアドレスを検索する場合、OSはDNSネームサーバーに接続してDNS解決を実行し、探しているホスト/ドメインのIPアドレスを取得します。
返信を受け取ると、この返信は一定期間OSにキャッシュされます。これはTTLとも呼ばれる期間であり、これは3515番号の意味です。キャッシュから削除される前に3515秒間キャッシュされ、その期間中、要求する代わりにキャッシュから値を取得します。再びアドレスのDNSネームサーバー。

Linux-パッケージング
パッケージングの経験はありますか?(パッケージの作成と同様)どのように機能するか説明できますか?
使用しているディストリビューションでパッケージのインストール/削除はどのように実行されますか?

答えは、使用されているディストリビューションによって異なります。

Fedora / CentOS / RHEL / Rockyでは、

rpm
または
dnf
コマンドを使用して実行できます。Ubuntuでは、コマンドを使用して実行できます
apt

RPM:スペックフォーマットを説明する(何を含めるべきか、何を含めることができるか)
実際にインストールせずに、パッケージの内容をどのようにリストしますか?
システム上のファイルがどのパッケージに属しているかを知る方法は?どのパッケージにも属していない場合は問題ですか?
リポジトリはどこに保存されますか?(使用しているディストリビューションに基づく)
アーカイブとは何ですか?Linuxでどのように作成しますか?
アーカイブのコンテンツを抽出する方法は?
なぜパッケージマネージャーが必要なのですか?単にアーカイブを作成して公開してみませんか?

パッケージマネージャーを使用すると、パッケージのインストール、削除、更新と同様に、パッケージのライフサイクルを管理できます。
さらに、特定のパッケージのインストール方法(ファイルのコピー先、インストール前に実行するコマンド、インストール後のコマンドなど)を仕様で指定できます。

Linux DNF

DNFとは何ですか?

リポジトリから:

「DandifiedYUM(DNF)は、YUMの次のメジャーバージョンです。RPM、libsolv、およびhawkeyライブラリを使用してパッケージ管理を行います。」

公式ドキュメント

コマンド/usr/ bin / gitを提供するパッケージを探す方法は?(パッケージは必ずしもインストールされていません)

dnfは/usr/ bin/gitを提供します

Linuxアプリケーションとサービス
/ etc / servicesで何を見つけることができますか?
再起動またはクラッシュ後にサービスが自動的に開始されるようにするにはどうすればよいですか?

initシステムによって異なります。

Systemd:

 systemctl enable [service_name] 
System V:
 update-rc.d [service_name] 
そしてこの行
 id:5678:respawn:/bin/sh /path/to/app 
を/ etc / inittabに追加しますUpstart:/etc/init/service.confにUpstartinitスクリプトを追加します

実行
ssh 127.0.0.1
しましたが、「接続が拒否されました」で失敗します。何が問題なのですか?

  1. SSHサーバーがインストールされていません
  2. SSHサーバーが実行されていません
特定のプログラムに必要な共有ライブラリを印刷するにはどうすればよいですか?それは何のために役立ちますか?
CUPSとは何ですか?
どのタイプのWebサーバーに精通していますか?

Nginx、Apachehttpd。

Linuxユーザーとグループ
「スーパーユーザー」(またはrootユーザー)とは何ですか?通常のユーザーとどう違うのですか?
どのようにユーザーを作成しますか?ユーザー情報はどこに保存されますか?

ユーザーを作成するコマンドは

useradd

構文:

useradd [options] Username

ユーザー情報を保存する2つの構成ファイルがあります

  1. /etc/passwd
    -ユーザー名、シェルなどのユーザー情報がこのファイルに保存されます

  2. /etc/shadow
    -ユーザーのパスワードは暗号化された形式で保存されます

グループに関する情報を保存しているファイルはどれですか?

/etc/groups
ファイルには、セカンダリグループにあるグループ名、グループID、ユーザー名が格納されます。

ユーザーのパスワードをどのように変更/設定しますか?

passwd <username>
ユーザーのパスワードを設定/変更するコマンドです。

どのファイルにユーザーのパスワードが保存されていますか?誰にでも見えるですか?

/etc/shadow
ファイルには、ユーザーのパスワードが暗号化された形式で保持されます。いいえ、
root
ユーザーにのみ表示されます

adduser / useraddコマンドを使用せずに新しいユーザーを作成する方法を知っていますか?

はい、

/etc/passwd
ファイルに手動でエントリを追加することで、新しいユーザーを作成できます。

たとえば、という名前のユーザーを作成する必要がある場合

john
です。

ステップ1:ファイルにエントリを追加して、

/etc/passwd
ユーザーが作成されるようにします。

echo "john:x:2001:2001::/home/john:/bin/bash" >> /etc/passwd

/etc/group
手順2:すべてのユーザーがユーザー名と同じ名前のプライマリグループに属しているため、ファイルにエントリを追加します。

echo "john:x:2001:" >> /etc/group

ステップ3:ユーザーが作成されたかどうかを確認する

id john

/ etc / passwdにはどのような情報が保存されていますか?各フィールドを説明する

/etc/passwd
は、ユーザー情報を含む構成ファイルです。このファイルの各エントリには、7つのフィールドがあります。

username:password:UID:GID:Comment:home directory:shell

username
-ユーザーの名前。

password
-このフィールドは、実際にはパスワードフィールドのプレースホルダーです。セキュリティ上の理由から、このフィールドにはパスワードは含まれず、
/etc/shadow
ファイルに保存されている暗号化されたパスワードのプレースホルダー(x)のみが含まれます。

UID
-ユーザーのユーザーID。

GID
-グループID

Comment
-このフィールドは、ユーザーに関する説明を提供します。

home directory
-ユーザーのホームディレクトリの絶対パス。このディレクトリは、ユーザーが追加されると作成されます。

shell
-このフィールドには、それぞれのユーザーが使用するシェルの絶対パスが含まれます。

システムにログインする機能を提供せずに、システムに新しいユーザーを追加するにはどうすればよいですか?

adduser user_name --shell=/bin/false --no-create-home
ユーザーを追加してから/etc/passwdを編集することもできます。

別のユーザーに切り替える方法は?rootユーザーに切り替える方法は?

suコマンド。ルートに切り替えるにはsu-を使用します

rootユーザーのUIDは何ですか?通常のユーザーはどうですか?

rootユーザーのUIDは0です

のUID_MINおよびUID_MAXのデフォルト値

/etc/login.defs
UID_MIN
1000
UID_MAX
60000

実際には、この値を変更できます。ただし、UID<1000はシステムアカウント用に予約されています。したがって、デフォルトの構成に従って、通常のユーザーのUIDは。から始まります

1000

ルートパスワードを紛失/忘れた場合はどうすればよいですか?

OSの再インストールは正しい答えではありません:)

/ etc / skelとは何ですか?

/etc/skel
はファイルまたはディレクトリを含むディレクトリであるため、新しいユーザーが作成されると、で作成されたこれらのファイル/ディレクトリ
/etc/skel
がユーザーのホームディレクトリにコピーされます。

システムにログインしたユーザーのリストを表示するにはどうすればよいですか?

コマンドを使用し

last
ます。

次の各コマンドの機能を説明します。
  • useradd
  • usermod
  • 私は誰
  • id

useradd
-新しいユーザーを作成するためのコマンド
usermod
-ユーザー設定を変更します
whoami
-出力、現在ログインしているユーザー名
id
-印刷します

実行します
grep $(whoami) /etc/passwd
が、出力は空です。その理由として考えられるものは何ですか?

使用しているユーザーはローカルで定義されていませんが、LDAPなどのサービスから発信されています。
次の方法で確認できます。

getent passwd

Linuxハードウェア

プロセッサに関する情報(CPUの数など)はどこにありますか?

/ proc / cpuinfo

nproc
プロセッサーの数に も使用できます

BIOS、マザーボード、プロセッサ、RAMに情報を印刷するにはどうすればよいですか?

dmidecoode

システム内の接続されたブロックデバイスに関するすべての情報をどのように印刷できますか?

lsblk

正しいか間違っているか?ユーザースペースでは、アプリケーションはハードウェアリソースに完全にアクセスできません

真実。カーネル空間でのみ、ハードウェアリソースへのフルアクセスが可能です。

Linux-セキュリティ

CA(認証局)の秘密鍵をどのように作成しますか?

1つの方法は、opensslを次のように使用することです。

openssl genrsa -aes256 -out ca-private-key.pem 4096

CA(認証局)の公開鍵をどのように作成しますか?

openssl req -new -x509 -days 730 -key [private key file name] -sha256 -out ca.pem

前の質問の秘密鍵を使用する場合、コマンドは次のようになります。

openssl req -new -x509 -days 730 -key ca-private-key.pem -sha256 -out ca.pem

Linux-名前空間

Linuxにはどのような種類の名前空間がありますか?
  • プロセスID名前空間:これらの名前空間には、プロセスIDの独立したセットが含まれます
  • 名前空間のマウント:マウントポイントの分離と制御
  • ネットワーク名前空間:ルーティングテーブル、インターフェイス、ARPテーブルなどのシステムネットワークリソースを分離します。
  • UTS名前空間:ホストとドメインを分離します
  • IPC名前空間:プロセス間通信を分離します
  • ユーザー名前空間:ユーザーIDとグループIDを分離します
  • 時間名前空間:タイムマシンを分離します
正しいか間違っているか?すべてのPID(プロセスID)名前空間で、プロセスID番号1が割り当てられた最初のプロセス

真実。名前空間内ではPID1ですが、親名前空間ではPIDは別のものです。

正しいか間違っているか?子PIDネームスペースでは、すべてのプロセスが親PIDネームスペースとプロセスを認識し、親PIDネームスペースには子PIDネームスペースプロセスの可視性がありません。

間違い。反対のことが当てはまります。親PID名前空間は、子PID名前空間のプロセスを認識して可視化し、子PID名前空間は、親PID名前空間で何が起こっているかを可視化しません。

正しいか間違っているか?デフォルトでは、2つの別々のネットワーク名前空間を作成する場合、1つの名前空間から別の名前空間へのpingは正常に機能します

間違い。ネットワーク名前空間には、独自のインターフェイスとルーティングテーブルがあります。あるネットワーク名前空間が別のネットワーク名前空間に到達する方法は(たとえば、ブリッジを作成せずに)ありません。

正しいか間違っているか?UTS名前空間を使用すると、プロセスは、同じホストで実行されている間、異なるホストおよびドメインで実行されているように見える場合があります。

真実

正しいか間違っているか?子ユーザーの名前空間にID0のrootユーザーを含めることはできません

間違い。すべての子ユーザーの名前空間で、uidが0の個別のrootユーザーを持つことができます。

名前空間は何時に使用されますか?

時間内に名前空間プロセスは異なるシステム時間を使用できます。

Linux-仮想化

Linuxで利用できる仮想化ソリューションは何ですか?
KVMとは何ですか?

x86ハードウェアで動作するために使用されるオープンソースの仮想化テクノロジーです。

公式ドキュメントから 推奨される読み物:

Libvirtとは何ですか?

これは、仮想マシンの管理に使用されるソフトウェアのオープンソースコレクションです。KVM、Xen、LXCなどで使用できます。Libvirt仮想化APIとも呼ばれます。

公式ドキュメントから ハイパーバイザーがサポートするドキュメント

Linux-AWK

コマンドは何
awk
をしますか?使ったことがありますか?何のために?

ウィキペディアから:「AWKはテキスト処理用に設計されたドメイン固有言語であり、通常はデータ抽出およびレポートツールとして使用されます」

ファイルの4列目を印刷するにはどうすればよいですか?

awk '{print $4}' file

79文字より長いすべての行を印刷するにはどうすればよいですか?

awk 'length($0) > 79' file

コマンドは何
lsof
をしますか?使ったことがありますか?何のために?

検索と検索の違いは何ですか?
ユーザープロセスは、ディスクからの読み取りなど、特権操作をどのように実行しますか?

システムコールの使用

Linux-システムコール

システムコールとは何ですか?どのシステムコールに精通していますか?
プログラムはどのようにシステムコールを実行しますか?
  • プログラムはトラップ命令を実行します。特権レベルをカーネル空間に上げながら、命令はカーネルにジャンプします。
  • カーネル空間に入ると、任意の特権操作を実行できます
  • 終了すると、「トラップからの復帰」命令を呼び出します。この命令は、特権レベルをユーザースペースに戻しながら、ユーザースペースに戻ります。
fork()システムコールについて説明する

fork()は、新しいプロセスを作成するために使用されます。これは、呼び出しプロセスのクローンを作成することによって行われますが、子プロセスには独自のPIDがあり、メモリロック、I / O操作、およびセマフォは継承されません。

fork()の戻り値は何ですか?
  • 成功すると、親プロセスの子プロセスのPIDと子プロセスの0
  • エラーの場合、親で-1
fork()が失敗する理由を1つ挙げてください

新しいプロセスを作成するのに十分なメモリがありません

なぜwait()システム呼び出しが必要なのですか?

wait()は、子プロセスが実行を終了するのを待つために親プロセスによって使用されます。親プロセスがwaitを使用しない場合、子プロセスはゾンビプロセスになる可能性があります。

カーネルは子プロセスの終了について親プロセスにどのように通知しますか?

カーネルは、SIGCHLDを親に送信することにより、親に通知します。

waitpid()はwait()とどう違うのですか?

waitpid()は、wait()関数の非ブロッキングバージョンです。
また、ライブラリルーチン(system()など)を使用して、プロセスが待機していない他の子プロセスを台無しにすることなく、子プロセスを待機することもサポートします。

正しいか間違っているか?wait()システム呼び出しは、子プロセスが実行されて終了するまで戻りません。

子が終了する前にwait()が戻る場合もありますが、ほとんどの場合に当てはまります。

exec()システムコールについて説明する

現在実行中のプログラムを別のプログラムに変換します。
実行可能ファイルの名前といくつかの引数を指定すると、指定された実行可能ファイルからコードと静的データをロードし、現在のコードセグメントと現在の静的コードデータを上書きします。メモリスペース(スタックやヒープなど)を初期化した後、OSはプログラムを実行し、そのプロセスのargvとして引数を渡します。

正しいか間違っているか?exec()の呼び出しが成功すると、返されることはありません

True
成功したexecは現在のプロセスを置き換えるため、呼び出しを行ったプロセスに何も返すことはできません。

ファイルの一覧表示にはどのシステムコールが使用されますか?
新しいプロセスを作成するために使用されるシステムコールは何ですか?

fork()、exec()、およびwait()システム呼び出しもこのワークフローに含まれています。

execve()は何をしますか?

プログラムを実行します。プログラムはファイル名(またはパス)として渡され、バイナリ実行可能ファイルまたはスクリプトである必要があります。

mallocの戻り値はいくらですか?
pipe()システムコールについて説明します。それは何のために使われましたか?

Unixパイプの実装

「パイプは単方向のプロセス間通信チャネルを提供します。パイプには読み取り端と書き込み端があります。パイプの書き込み端に書き込まれたデータは、パイプの読み取り端から読み取ることができます。パイプは、pipe(2)を使用して作成されます。これは2つのファイル記述子を返します。1つはパイプの読み取り端を参照し、もう1つは書き込み終了を参照します。」

実行するとどうなります
ls -l
か?

  • シェルは、getline()を使用して入力を読み取ります。これは、入力ファイルストリームを読み取り、文字列としてバッファに格納します。

  • バッファはトークンに分割され、次のように配列に格納されます:{"ls"、 "-l"、 "NULL"}

  • シェルは拡張が必要かどうかをチェックします(ls * .cの場合)

  • プログラムがメモリに格納されると、その実行が開始されます。まず、readdir()を呼び出します

ノート:

  • getline()はGNU Cライブラリに由来し、入力ストリームから行を読み取り、それらの行をバッファに格納するために使用されます
実行するとどうなります
ls -l *.log
か?

readdir()システムコールは何をしますか?
コマンドは正確に何を
alias x=y
しますか?

fork()およびexec()システムコールを使用して新しいプログラムを実行するのはなぜですか?新しいプログラムを実行するための呼び出しが1つあるのに、なぜ別のAPIが開発されなかったのですか?

この方法は多くの柔軟性を提供します。これにより、たとえば、シェルはfork()の呼び出しの後、exec()の呼び出しの前にコードを実行できます。このようなコードは、実行しようとしているプログラムの環境を変更するために使用できます。

シェルでコマンドを実行するとどうなるかを簡単に説明してください

シェルは、PATH変数を使用して、コマンドの実行可能ファイルがファイルシステム内にある場所を特定します。次に、fork()を呼び出して、コマンドを実行するための新しい子プロセスを作成します。フォークが正常に実行されると、exec()のバリアントを呼び出してコマンドを実行し、最後に、wait()を使用してコマンドが終了するのを待ちます。子が完了すると、シェルはwait()から戻り、プロンプトを再度出力します。

Linuxファイルシステムとファイル

特定のサイズのファイルを作成するにはどうすればよいですか?

これを行うには、いくつかの方法があります。

  • dd if = / dev / urandom of = new_file.txt bs = 2MB count = 1
  • 切り捨て-s2Mnew_file.txt
  • fallocate -l 2097152 new_file.txt
次のブロックは何をしますか?:
open("/my/file") = 5
read(5, "file content")

これらのシステムコールはファイルを読み取っており

/my/file
、5はファイル記述子番号です。

ファイル(またはそのコンテンツ)を削除する3つの異なる方法を説明する
プロセスとスレッドの違いは何ですか?
コンテキストスイッチとは何ですか?

ウィキペディアから:コンテキストスイッチは、プロセスまたはスレッドの状態を保存するプロセスであり、後で復元して実行を再開できます。

CPU負荷の高いサーバーがあることはわかりましたが、CPU負荷の高いプロセスは見つかりませんでした。そんなことがあるものか?
LinuxAdvanced-ネットワーキング
実行
ip a
すると、「lo」というデバイスがあることがわかります。それは何ですか、なぜそれが必要なのですか?

コマンドは何
traceroute
をしますか?それはどのように機能しますか?

この質問に対処するもう1つの一般的な方法は、「tracerouteがtcpヘッダーのどの部分を変更するか」です。

ネットワークボンディングとは何ですか?どんなタイプに精通していますか?
2つの別々のネットワーク名前空間をリンクして、1つの名前空間のインターフェイスを2番目の名前空間からpingできるようにするにはどうすればよいですか?
cgroupsとは何ですか?
プロセス記述子とタスク構造を説明する
スレッドとプロセスの違いは何ですか?
カーネルスレッドについて説明する
ソケットシステムコールを使用するとどうなりますか?

これはトピックに関する良い記事です:https ://ops.tips/blog/how-linux-creates-sockets

スクリプトを実行しましたが、実行中に誤って削除されました。スクリプトの実行中にスクリプトを復元することはできますか?

Linuxメモリ

/ proc / meminfoのMemFreeとMemAvailableの違いは何ですか?

MemFree-システム内の未使用の物理RAMの量MemAvailable-MemFree、Active(file)、Inactive(file)、およびSReclaimableに基づく(システムにスワップを使用させることなく)新しいワークロードに使用可能なメモリの量。

ページングとスワッピングの違いは何ですか?
OOMキラーとは何かを説明する

分布

Linuxディストリビューションとは何ですか?
どのLinuxディストリビューションに精通していますか?
Linuxディストリビューションのコンポーネントは何ですか?
  • カーネル
  • ユーティリティ
  • サービス
  • ソフトウェア/パッケージ管理

Linux-Sed

sedを使用して、次の行から日付を抽出します。
201.7.19.90 - - [05/Jun/1985:13:42:99 +0000] "GET /site HTTP/1.1" 200 32421

echo $line | sed 's/.*\[//g;s/].*//g;s/:.*//g'

Linux-その他

ランダムな文字列を生成する方法は?

1つの方法は、以下を実行することです。

cat /proc/sys/kernel/random/uuid

Linuxディストリビューションとは何ですか?
  • パッケージのコレクション-カーネル、GNU、サードパーティのアプリ、...
  • ディストリビューションは、ディストリビューションに関する情報を
    /etc/*-release
    ファイル に保存する場合があります
    • たとえば、Red Hatディストリビューションの場合はそう
      /etc/redhat-release
      なり、Amazonの場合はそうなります。
      /etc/os-release
    • lsb_release
      複数の異なるディストリビューションで使用できる一般的なコマンドです
2文字の長さの5つのコマンドに名前を付けます

ls、wc、dd、df、du、ps、ip、cp、cd..。

新しい空のファイルを作成する方法はありますか?
  • new_fileにタッチします
  • エコー"">new_file
`cd -`はどのように機能しますか?以前の場所をどのように知るのですか?

$ OLDPWD

現在のディレクトリ内のすべてのファイルを印刷する方法を3つ挙げてください
  • ls
  • 探す 。
  • エコー *
ファイルの行数を数える方法は?言葉はどうですか?
/ etc/bashrcでx=2を定義し、x = 6〜/ .bashrcを定義してから、システムにログインします。xの値は何でしょうか?
人と情報の違いは何ですか?

良い答えはここにあります

「環境変数」について説明します。すべての環境変数をどのようにリストしますか?
TTYデバイスとは何ですか?
独自の環境変数を作成するにはどうすればよいですか?

X=2
例えば。しかし、これは新しいシェルでも持続します。新しいシェルでも使用するには、
export X=2

二重ダッシュ(-)はどういう意味ですか?

コマンドオプションの終わりを示すためにコマンドで使用されます。一般的な例の1つは、gitと一緒に使用してローカルの変更を破棄する場合です。

git checkout -- some_file

ワイルドカードはユーザーまたはカーネルスペースに実装されていますか?
新しいデバイスをLinuxマシンに接続すると、システムのどこに新しいデバイスエントリ/ファイルが作成されますか?

/ dev

なぜ人間には異なるセクションがあるのですか?セクション間の違いは何ですか?
ユーザーモードLinuxとは何ですか?
Linuxはどのライセンスで配布されていますか?

GPL v2

オペレーティング·システム

オペレーティングシステムの演習

名前 トピック 目的と手順 解決 コメントコメント
フォーク101 フォーク リンク リンク
フォーク102 フォーク リンク リンク

オペレーティングシステム-自己評価

オペレーティングシステムとは何ですか?

「オペレーティングシステム:3つの簡単な部分」という本から:

「プログラムの実行を容易にし(同時に多くのプログラムを実行できるようにさえ)、プログラムがメモリを共有できるようにし、プログラムがデバイスと対話できるようにするなど、その他の楽しいことを担当します。」

オペレーティングシステム-プロセス

プロセスとは何か説明できますか?

プロセスは実行中のプログラムです。プログラムは1つ以上の命令であり、プログラム(またはプロセス)はオペレーティングシステムによって実行されます。

オペレーティングシステムのプロセス用のAPIを設計する必要がある場合、このAPIはどのようになりますか?

以下をサポートします。

  • 作成-新しいプロセスの作成を許可します
  • 削除-プロセスの削除/破棄を許可します
  • 状態-プロセスの状態、実行中、停止中、待機中などを確認できます。
  • 停止-実行中のプロセスを停止できるようにします
プロセスはどのように作成されますか?
  • OSはプログラムのコードと追加の関連データを読み取っています
  • プログラムのコードは、メモリ、より具体的にはプロセスのアドレス空間にロードされます。
  • メモリはプログラムのスタック(別名ランタイムスタック)に割り当てられます。スタックは、argv、argc、main()へのパラメーターなどのデータを使用してOSによって初期化されます
  • データ構造のリンクリストやハッシュテーブルなどの動的に割り当てられたデータに必要なプログラムのヒープにメモリが割り当てられます
  • 各プロセスに3つのファイル記述子(入力、出力、エラー)があるUnix / Linuxベースのシステムのように、I/O初期化タスクが実行されます。
  • OSはmain()からプログラムを実行しています
正しいか間違っているか?プログラムのメモリへのロードは熱心に(一度に)行われます

間違い。これは過去にも当てはまりましたが、現在のオペレーティングシステムは遅延読み込みを実行します。つまり、プロセスの実行に必要な関連部分のみが最初に読み込まれます。

プロセスのさまざまな状態は何ですか?
  • 実行中-命令を実行しています
  • 準備完了-実行する準備はできていますが、さまざまな理由で保留になっています
  • ブロック済み-何らかの操作が完了するのを待っています。たとえば、I/Oディスク要求
プロセスがブロックされる理由は何ですか?
  • I / O操作(ディスクからの読み取りなど)
  • ネットワークからのパケットを待っています
プロセス間通信(IPC)とは何ですか?
「タイムシェアリング」とは何ですか?

1つの物理CPUを搭載したシステムを使用している場合でも、複数のユーザーがそのシステムで作業してプログラムを実行できるようにすることができます。これは、システムが複数のCPUを持っているように見える方法でコンピューティングリソースが共有されるタイムシェアリングで可能ですが、実際には、マルチプログラミングとマルチタスクを適用することで共有されるCPUは1つだけです。

「スペースシェアリング」とは?

タイムシェアリングのやや反対。タイムシェアリングでは、あるエンティティがリソースをしばらく使用し、その後、同じリソースを別のリソースで使用できますが、スペース共有では、スペースは複数のエンティティによって共有されますが、それらの間で転送されません。
このエンティティがそれを取り除くことを決定するまで、それは1つのエンティティによって使用されます。ストレージを例にとってみましょう。ストレージでは、ファイルを削除するまで、ファイルはあなたのものです。

特定の時点で実行されるプロセスを決定するコンポーネントはどれですか?

CPUスケジューラ

オペレーティングシステム-メモリ

「仮想メモリ」とは何ですか?それはどのような目的に役立ちますか?
デマンドページングとは何ですか?
コピーオンライトまたはシャドウイングとは何ですか?
カーネルとは何ですか、そしてそれは何をしますか?

カーネルはオペレーティングシステムの一部であり、次のようなタスクを担当します。

  • メモリの割り当て
  • プロセスのスケジュール
  • 制御CPU
正しいか間違っているか?カーネル内のコードの一部はメモリの保護された領域にロードされるため、アプリケーションはそれらを上書きできません

真実

POSIXとは何ですか?
セマフォとは何か、オペレーティングシステムにおけるその役割は何かを説明する
キャッシュとは何ですか?バッファとは何ですか?

バッファ:一時的な目的でデータを保持するために使用されるRAM内の予約済みの場所キャッシュ:キャッシュは通常、プロセスがディスクの読み取りと書き込みを行うときに使用され、さまざまなプログラムで使用される同様のデータに簡単にアクセスできるようにしてプロセスを高速化します。

仮想化

仮想化とは何ですか?

仮想化では、ソフトウェアを使用して、コンピューターハードウェア上に抽象化レイヤーを作成します。これにより、単一のコンピューターのハードウェア要素(プロセッサー、メモリ、ストレージなど)を、一般に仮想マシン(VM)と呼ばれる複数の仮想コンピューターに分割できます。

ハイパーバイザーとは何ですか?

Red Hat:「ハイパーバイザーは仮想マシン(VM)を作成して実行するソフトウェアです。ハイパーバイザーは、仮想マシンモニター(VMM)と呼ばれることもあり、ハイパーバイザーのオペレーティングシステムとリソースを仮想マシンから分離し、それらの作成と管理を可能にします。 VM。」

詳細はこちら

どのような種類のハイパーバイザーがありますか?

ホスト型ハイパーバイザーとベアメタルハイパーバイザー。

ホスト型ハイパーバイザーに対するベアメタルハイパーバイザーの長所と短所は何ですか?

独自のドライバーがあり、ハードウェアコンポーネントに直接アクセスできるため、ベアメタルハイパーバイザーは、安定性とスケーラビリティに加えて、パフォーマンスが向上することがよくあります。

一方、(任意の)ドライバーのロードに関してはおそらくいくつかの制限があるため、ホストされたハイパーバイザーは通常、ハードウェアの互換性が向上することでメリットが得られます。

どのような種類の仮想化がありますか?

オペレーティングシステムの仮想化ネットワーク機能の仮想化デスクトップの仮想化

コンテナ化は仮想化の一種ですか?

はい、これはオペレーティングシステムレベルの仮想化であり、カーネルが共有され、複数の分離されたユーザースペースインスタンスを使用できます。

仮想マシンの導入により、業界とアプリケーションの展開方法はどのように変化しましたか?

仮想マシンの導入により、企業は同じハードウェア上に複数のビジネスアプリケーションを展開でき、各アプリケーションは安全な方法で相互に分離され、それぞれが独自の個別のオペレーティングシステムで実行されます。

Python-OOP

継承とPythonでの使用方法を説明する
By definition inheritance is the mechanism where an object acts as a base of another object, retaining all its
properties.

So if Class B inherits from Class A, every characteristics from class A will be also available in class B.
Class A would be the 'Base class' and B class would be the 'derived class'.

This comes handy when you have several classes that share the same functionalities.

The basic syntax is:

class Base: pass

class Derived(Base): pass

A more forged example:

class Animal:
    def __init__(self):
        print("and I'm alive!")

    def eat(self, food):
        print("ñom ñom ñom", food)

class Human(Animal):
    def __init__(self, name):
        print('My name is ', name)
        super().__init__()

    def write_poem(self):
        print('Foo bar bar foo foo bar!')

class Dog(Animal):
    def __init__(self, name):
        print('My name is', name)
        super().__init__()

    def bark(self):
        print('woof woof')


michael = Human('Michael')
michael.eat('Spam')
michael.write_poem()

bruno = Dog('Bruno')
bruno.eat('bone')
bruno.bark()

>>> My name is  Michael
>>> and I'm alive!
>>> ñom ñom ñom Spam
>>> Foo bar bar foo foo bar!
>>> My name is Bruno
>>> and I'm alive!
>>> ñom ñom ñom bone
>>> woof woof

Calling super() calls the Base method, thus, calling super().__init__() we called the Animal __init__.

There is a more advanced python feature called MetaClasses that aid the programmer to directly control class creation.

クラス属性とインスタンス属性の説明とデモンストレーション

次のコードブロックで

x
は、はクラス属性で
self.y
あり、はインスタンス属性です。

class MyClass(object):
    x = 1

    def __init__(self, y):
        self.y = y

Python-例外

エラーとは何ですか?例外とは何ですか?どのような種類の例外に精通していますか?
#  Note that you generally don't need to know the compiling process but knowing where everything comes from
#  and giving complete answers shows that you truly know what you are talking about.

Generally, every compiling process have a two steps.
    - Analysis
    - Code Generation.

    Analysis can be broken into:
        1. Lexical analysis   (Tokenizes source code)
        2. Syntactic analysis (Check whether the tokens are legal or not, tldr, if syntax is correct)

               for i in 'foo'
                          ^
             SyntaxError: invalid syntax

        We missed ':'


        3. Semantic analysis  (Contextual analysis, legal syntax can still trigger errors, did you try to divide by 0,
          hash a mutable object or use an undeclared function?)

                 1/0
                ZeroDivisionError: division by zero

    These three analysis steps are the responsible for error handlings.

    The second step would be responsible for errors, mostly syntax errors, the most common error.
    The third step would be responsible for Exceptions.

    As we have seen, Exceptions are semantic errors, there are many builtin Exceptions:

        ImportError
        ValueError
        KeyError
        FileNotFoundError
        IndentationError
        IndexError
        ...

    You can also have user defined Exceptions that have to inherit from the `Exception` class, directly or indirectly.

    Basic example:

    class DividedBy2Error(Exception):
        def __init__(self, message):
            self.message = message


    def division(dividend,divisor):
        if divisor == 2:
            raise DividedBy2Error('I dont want you to divide by 2!')
        return dividend / divisor

    division(100, 2)

    >>> __main__.DividedBy2Error: I dont want you to divide by 2!

例外処理とPythonでの使用方法を説明する

例外:実行中に検出されたエラーは、例外と呼ばれます。

例外の処理:エラーが発生した場合、または例外が発生した場合、Pythonは通常停止し、エラーメッセージを生成します。

try
例外は、Pythonのand
except
ステートメントを使用して処理できます。

例:次の例では、有効な整数が入力されるまでユーザーに入力を求めます。ユーザーが整数以外の値を入力すると、例外が発生し、例外を使用すると、その例外がキャッチされ、ユーザーに有効な整数を再度入力するように求められます。

while True:
    try:
        a = int(input("please enter an integer value: "))
        break
    except ValueError:
        print("Ops! Please enter a valid integer value.")

エラーと例外の詳細については、https://docs.python.org/3/tutorial/errors.htmlをフォローしてください。

次の関数を実行した結果はどうなりますか?
def true_or_false():
    try:
        return True
    finally:
        return False

間違い

Python組み込み関数

次の組み込み関数を説明します(それらの目的とユースケースの例)。
  • repr
  • どれか
  • 全て

repr関数とstrの違いは何ですか?
__call__メソッドとは何ですか?

呼び出し可能なオブジェクトをエミュレートするために使用されます。これにより、クラスインスタンスを関数として呼び出すことができます。

  • コード例:
class Foo:
    def __init__(self: object) ->  None:
        pass
    def __call__(self: object) -> None:
        print("Called!")

f = Foo()
f()
  • 結果:
Called!

クラスには__call__メソッドもありますか?何のために?
Pythonでは_は何に使用されますか?
  1. i18nでの翻訳ルックアップ
  2. 最後に実行された式またはステートメントの結果を対話型インタープリターに保持します。
  3. 汎用の「使い捨て」変数名として。例:x、y、_ = get_data()(xとyが使用されますが、3番目の変数は気にしないため、「破棄」します)。
GILとは何かを説明する
Pythonグローバルインタープリターロック(GIL)は、プロセスを処理するたびにPythonによって使用されるプロセスロックの一種です。一般に、Pythonは記述されたステートメントのセットを実行するために1つのスレッドのみを使用します。これは、Pythonでは一度に1つのスレッドのみが実行されることを意味します
ラムダとは何ですか?どのように使用されますか?

式は「

lambda
無名」関数であり、キーワード「def」を使用する通常の定義済み関数との違いは、構文と使用法です。

構文は次のとおりです。

lambda[parameters]: [expresion]

例:

  • ラムダ関数は、引数が渡されると10を加算します。
x = lambda a: a + 10
print(x(10))
  • 加算機能
addition = lambda x, y: x + y
print(addition(10, 20))
  • 二乗関数
square = lambda x : x ** 2
print(square(5))

一般に、ラムダ式を割り当てることはPEP 8の下で悪い習慣と見なされ、それらはパラメーターとして、および他の定義された関数の内部で使用されることを意図しています。

プロパティ

Pythonにプライベート変数はありますか?クラスの属性をプライベートにするにはどうすればよいですか?
次のことを説明してください。
  • ゲッター
  • セッター
  • 削除者

@propertyとは何かを説明する
2つの変数間で値をどのように交換しますか?
x, y = y, x

次のオブジェクトの魔法の変数を説明します。
  • dict

1つ以上の数値の合計を返す関数を記述します。使用する数字の数はユーザーが決定します

まず、使用する数字の量をユーザーに尋ねます。ループごとにamount_of_numbersを1つずつ減算して、amount_of_numbersが0になるまで実行されるwhileループを使用します。whileループでは、ループが実行されるたびに変数が追加される数値をユーザーに尋ねます。

def return_sum():
	amount_of_numbers = int(input("How many numbers? "))
	total_sum = 0
	while amount_of_numbers != 0:
		num = int(input("Input a number. "))
		total_sum += num
		amount_of_numbers -= 1
	return total_sum

[2、5、6]の平均を出力します。小数点第3位を四捨五入する必要があります
li = [2, 5, 6]
print("{0:.3f}".format(sum(li)/len(li)))

Python-リスト

Pythonのタプルとは何ですか?それは何のために使われますか?

タプルは、Pythonに組み込まれているデータ型です。1つの変数に複数のアイテムを格納するために使用されます。

タプルのように、リストは複数のアイテムを格納するためにも使用されます。では、タプルとリストの違いは何ですか?

タプルとは対照的に、リストは可変データ型です。それは、私たちがそれとそれにアイテムを変更できることを意味します。

リストに番号2を追加する方法
x = [1, 2, 3]

x.append(2)

リストの最後の要素を取得するにはどうすればよいですか?

some_list[-1]

[1、2、3]のアイテムをリスト[4、5、6]に追加するにはどうすればよいですか?
x = [4、5、6] x.extend([1、2、3])

append
リストを1つのアイテムとして使用したい場合を除いて、 使用しないでください。

リストから最初の3つのアイテムを削除するにはどうすればよいですか?

my_list[0:3] = []

リストの先頭にアイテムを挿入するにはどうすればよいですか?2つのアイテムはどうですか?
  • 一項目:
numbers = [1, 2, 3, 4, 5]
numbers.insert(0, 0)
print(numbers)
  • 複数のアイテムまたはリスト:
numbers_1 = [2, 3, 4, 5]
numbers_2 = [0, 1]
numbers_1 = numbers_2 + numbers_1
print(numbers_1)

アイテムの長さでリストを並べ替える方法は?
sorted_li = sorted(li, key=len)

または、新しいリストを作成せずに:

li.sort(key=len)

list.sort()とsorted(list)の違いを知っていますか?
  • sorted(list)は新しいリストを返します(元のリストは変更されません)

  • list.sort()はNoneを返しますが、リストはインプレースで変更されます

  • sort()は、任意の反復可能(Dictionaries、Strings、...)で機能します

  • リストの場合、list.sort()はsorted(list)よりも高速です

すべての文字列を整数に変換します。
[['1', '2', '3'], ['4', '5', '6']]

nested_li = [['1', '2', '3'], ['4', '5', '6']]
[[int(x) for x in li] for li in nested_li]

2つの並べ替えられたリストを1つの並べ替えられたリストにマージするにはどうすればよいですか?
sorted(li1 + li2)

別の方法:

i, j = 0
merged_li = []

while i < len(li1) and j < len(li2):
    if li1[i] < li2[j]:
        merged_li.append(li1[i])
        i += 1
    else:
        merged_li.append(li2[j])
        j += 1

merged_li = merged_li + merged_li[i:] + merged_li[j:]

特定のリストのすべての要素が一意であるかどうかを確認するにはどうすればよいですか?したがって、[1、2、3]は一意ですが、[1、1、2、3]は、1が2回存在するため、一意ではありません。

この問題を解決する方法はたくさんあります。

# Note: :list and -> bool are just python typings, they are not needed for the correct execution of the algorithm. 

セットとlenを利用する:

def is_unique(l:list) -> bool:
    return len(set(l)) == len(l)

これは他のプログラミング言語で使用されているのを見ることができます。

def is_unique2(l:list) -> bool:
    seen = []

    for i in l:
        if i in seen:
            return False
        seen.append(i)
    return True

ここでは、カウントして、すべての要素が1回だけ繰り返されることを確認します。

def is_unique3(l:list) -> bool:
    for i in l:
        if l.count(i) > 1:
            return False
    return True

これはもっと複雑に見えるかもしれませんが、ちょっと、1つのライナー。

def is_unique4(l:list) -> bool:
    return all(map(lambda x: l.count(x) < 2, l))
次の機能があります
def my_func(li = []):
    li.append("hmm")
    print(li)

3回呼び出すと、それぞれの呼び出しの結果はどうなりますか?


['hmm']
['hmm', 'hmm']
['hmm', 'hmm', 'hmm']

リストを反復処理する方法は?
for item in some_list:
    print(item)

インデックス付きのリストを反復処理するにはどうすればよいですか?
for i, item in enumerate(some_list):
    print(i)

2番目のインデックスからリストの反復を開始するにはどうすればよいですか?

このような範囲を使用する

for i in range(1, len(some_list)):
    some_list[i]

別の方法は、スライスを使用することです

for i in some_list[1:]:

リストを逆の順序で繰り返す方法は?

方法1

for i in reversed(li):
    ...

方法2

n = len(li) - 1
while n > 0:
    ...
    n -= 1

リストのリストを、ネストされた各リストの2番目の項目で並べ替えます
li = [[1, 4], [2, 1], [3, 9], [4, 2], [4, 5]]

sorted(li, key=lambda l: l[1])

また

li.sort(key=lambda l: l[1)

[1、2、3]と['x'、'y'、'z']を組み合わせると、結果は[(1、'x')、(2、'y')、(3、'z')になります。 ]
nums = [1, 2, 3]
letters = ['x', 'y', 'z']

list(zip(nums, letters))

リスト内包とは何ですか?通常のループよりも優れていますか?なんで?使い方を教えていただけますか?

ドキュメントから:「リスト内包表記は、リストを作成するための簡潔な方法を提供します。一般的なアプリケーションは、各要素が別のシーケンスまたはイテレータの各メンバーに適用された操作の結果である新しいリストを作成するか、を満たす要素のサブシーケンスを作成することです。ある条件。」

コンパクトで高速で読みやすさも優れているため、優れています。

  • Forループ:
number_lists = [[1, 7, 3, 1], [13, 93, 23, 12], [123, 423, 456, 653, 124]]
odd_numbers = []
for number_list in number_lists:
    for number in number_list:
        if number % 2 == 0:
            odd_numbers.append(number)
print(odd_numbers)
  • リストの理解:
number_lists = [[1, 7, 3, 1], [13, 93, 23, 12], [123, 423, 456, 653, 124]]
odd_numbers = [number for number_list in number_lists for number in number_list if number % 2 == 0]
print(odd_numbers)

次のリストがあります
[{'name': 'Mario', 'food': ['mushrooms', 'goombas']}, {'name': 'Luigi', 'food': ['mushrooms', 'turtles']}]
。すべての種類の食品を抽出します。最終的な出力は次のようになります:{'きのこ'、'クリボー'、'カメ'}

brothers_menu =  \
[{'name': 'Mario', 'food': ['mushrooms', 'goombas']}, {'name': 'Luigi', 'food': ['mushrooms', 'turtles']}]

# "Classic" Way
def get_food(brothers_menu) -> set:
    temp = []

    for brother in brothers_menu:
        for food in brother['food']:
            temp.append(food)

    return set(temp)

# One liner way (Using list comprehension)
set([food for bro in x for food in bro['food']])

Python-辞書

辞書を作成する方法は?

my_dict = dict(x = 1、y = 2)OR my_dict = {'x':1、'y':2} OR my_dict = dict([('x'、1)、('y'、2)] )。

辞書からキーを削除する方法は?

delmy_dict['some_key']

my_dict.pop('some_key')
キーの値を返すを使用することもできます。

辞書を値で並べ替える方法は?
{k: v for k, v in sorted(x.items(), key=lambda item: item[1])}

辞書をキーで並べ替える方法は?
dict(sorted(some_dictionary.items()))

2つの辞書をマージする方法は?
some_dict1.update(some_dict2)

文字列「abc」を辞書に変換します
{'a': {'b': {'c': 1}}}

output = {}
string = "a.b.c"
path = string.split('.')
target = reduce(lambda d, k: d.setdefault(k, {}), path[:-1], output)
target[path[-1]] = 1
print(output)

一般的なアルゴリズムの実装
Pythonで「二分探索」を実装できますか?

解決

Pythonファイル

ファイルへの書き込み方法は?
with open('file.txt', 'w') as file:
    file.write("My insightful comment")

特定のファイル内のすべての整数を合計します
特定のファイルのランダムな行を印刷します
特定のファイルの3行ごとに印刷します
特定のファイルの行数を出力します
特定のファイルの単語数を出力します
指定されたディレクトリ内のすべてのファイルを出力する関数を記述できますか?サブディレクトリを含む
辞書(変数)をファイルに書き込む
import json

with open('file.json', 'w') as f:
    f.write(json.dumps(dict_var))

Python OS

現在の作業ディレクトリを印刷するにはどうすればよいですか?
import os

print(os.getcwd())

パスを
/dir1/dir2/file1
指定すると、ファイル名(file1)が出力されます。

import os

print(os.path.basename('/dir1/dir2/file1'))

# Another way
print(os.path.split('/dir1/dir2/file1')[1])

与えられたパス
/dir1/dir2/file1
  1. ファイル名なしでパスを出力します(/ dir1 / dir2)
  2. ファイルが存在するディレクトリの名前を出力します(dir2)

import os

## Part 1.
# os.path.dirname gives path removing the end component
dirpath = os.path.dirname('/dir1/dir2/file1')
print(dirpath)

## Part 2.
print(os.path.basename(dirpath))

Pythonを使用してシェルコマンドをどのように実行しますか?
パスコンポーネントをどのように結合しますか?たとえば
/home
luig
結果は
/home/luigi

空でないディレクトリをどのように削除しますか?

Python正規表現

Pythonで正規表現関連の操作をどのように実行しますか?(パターンの一致、文字列の置換など)

reモジュールの使用

変数内のすべてのIPアドレスを見つける方法は?ファイルでそれらを見つける方法は?

Python文字列

文字列の最初の繰り返し文字を検索する

文字を繰り返し処理しながら、それらを辞書に保存し、すべての文字がすでに辞書にあるかどうかを確認します。

def firstRepeatedCharacter(str):
    chars = {}
    for ch in str:
        if ch in chars:
            return ch
        else:
            chars[ch] = 0

文字列から一意の文字を抽出するにはどうすればよいですか?たとえば、入力が「itssssssameeeemarioooooo」の場合、出力は「mrtisaoe」になります。
x = "itssssssameeeemarioooooo"
y = ''.join(set(x))

特定の文字列のすべての順列を検索します
def permute_string(string):

    if len(string) == 1:
        return [string]

    permutations = []
    for i in range(len(string)):
        swaps = permute_string(string[:i] + string[(i+1):])
        for swap in swaps:
            permutations.append(string[i] + swap)

    return permutations

print(permute_string("abc"))

短い方法(ただし、インタビューではおそらく受け入れられません):

from itertools import permutations

[''.join(p) for p in permutations("abc")]

詳細な回答はここにあります:http://codingshell.com/python-all-string-permutations

文字列にサブ文字列が含まれているかどうかを確認するにはどうすればよいですか?
Find the frequency of each character in string
Count the number of spaces in a string

You can use the "count" method like this:

ImAString.count(" ")

Given a string, find the N most repeated words
Given the string (which represents a matrix) "1 2 3\n4 5 6\n7 8 9" create rows and colums variables (should contain integers, not strings)
What is the result of each of the following?
>> ', '.join(["One", "Two", "Three"])
>> " ".join("welladsadgadoneadsadga".split("adsadga")[:2])
>> "".join(["c", "t", "o", "a", "o", "q", "l"])[0::2]

>>> 'One, Two, Three'
>>> 'well done'
>>> 'cool'

If
x = "pizza"
, what would be the result of
x[::-1]
?

It will reverse the string, so x would be equal to

azzip
.

Reverse each word in a string (while keeping the order)
What is the output of the following code:
"".join(["a", "h", "m", "a", "h", "a", "n", "q", "r", "l", "o", "i", "f", "o", "o"])[2::3]

mario

Python Iterators

What is an iterator?

Python Misc

Explain data serialization and how do you perform it with Python
How do you handle argument parsing in Python?
What is a generator? Why using generators?
次のブロックの出力はどうなりますか?
for i in range(3, 3):
   print(i)

出力なし:)

yeild
ですか?いつ使いますか?

次の種類のメソッドとその使用方法を説明します。
  • 静的メソッド
  • クラスメソッド
  • インスタンスメソッド

リストを逆にする方法は?
文字列のリストを文字列の間にスペースを入れて1つの文字列に結合する方法
ネストされたリストの次のリストがあります。
[['Mario', 90], ['Geralt', 82], ['Gordon', 88]]
ネストされたリストの番号でリストを並べ替える方法は?

1つの方法は次のとおりです。

the_list.sort(key = lambda x:x [1])

次のことを説明してください。
  • ジップ()
  • 地図()
  • フィルター()

Python-スライス

次のスライス演習では、次のリストがあると想定します。

my_list = [8, 2, 1, 10, 5, 4, 3, 9]

`my_list [0:4]`の結果は何ですか?
`my_list [5:6]`の結果は何ですか?
`my_list [5:5]`の結果は何ですか?
`my_list [::-1]`の結果は何ですか?
`my_list [:: 3]`の結果は何ですか?
`my_list [2:]`の結果は何ですか?
`my_list [:3]`の結果は何ですか?

Pythonデバッグ

Pythonコードをどのようにデバッグしますか?

pdb:D

特定のスクリプトまたはコードブロックの実行にかかった時間を確認するにはどうすればよいですか?
どのような空
return
が返されますか?

簡単な答えは次のとおりです。Noneオブジェクトを返します。

もう少し深く掘り下げて、違いを説明することができます

def a ():
    return

>>> None

def a ():
    pass

>>> None

または、どちらも同じ結果になるため、次の質問としてこれを尋ねることができます。

disモジュールを使用して、何が起こっているかを確認できます。

  2           0 LOAD_CONST               0 (<code object a at 0x0000029C4D3C2DB0, file "<dis>", line 2>)
              2 LOAD_CONST               1 ('a')
              4 MAKE_FUNCTION            0
              6 STORE_NAME               0 (a)

  5           8 LOAD_CONST               2 (<code object b at 0x0000029C4D3C2ED0, file "<dis>", line 5>)
             10 LOAD_CONST               3 ('b')
             12 MAKE_FUNCTION            0
             14 STORE_NAME               1 (b)
             16 LOAD_CONST               4 (None)
             18 RETURN_VALUE

Disassembly of <code object a at 0x0000029C4D3C2DB0, file "<dis>", line 2>:
  3           0 LOAD_CONST               0 (None)
              2 RETURN_VALUE

Disassembly of <code object b at 0x0000029C4D3C2ED0, file "<dis>", line 5>:
  6           0 LOAD_CONST               0 (None)
              2 RETURN_VALUE

 return
はとまったく同じで
return None
あり、明示的な戻り値のない関数は、操作に関係なく常にNoneを返します。

def sum(a, b):
    global c
    c = a + b

>>> None

次のコードブロックを改善するにはどうすればよいですか?
li = []
for i in range(1, 10):
    li.append(i)

[i for i in range(1, 10)]

次の関数が与えられます
def is_int(num):
    if isinstance(num, int):
        print('Yes')
    else:
        print('No')

is_int(2)とis_int(False)の結果はどうなりますか?


Python-リンクリスト

Pythonでリンクリストを実装できますか?

そもそも実装する必要があるのは、リンクリストがPython標準ライブラリの一部ではないためです。
リンクリストを実装するには、リンクリスト自体とリンクリストで使用されるノードの2つの構造を実装する必要があります。

ノードから始めましょう。ノードには、いくつかの値(ノードが保持するデータ)と次のノードへのポインターがあります

class Node(object):
    def __init__(self, data):
        self.data = data
        self.next = None

これでリンクリストになりました。空のリンクリストには、空のヘッドしかありません。

class LinkedList(object):
    def __init__(self):
        self.head = None

これで、リンクリストの使用を開始できます

ll = Linkedlist()
ll.head = Node(1)
ll.head.next = Node(2)
ll.head.next.next = Node(3)

私たちが持っているのは:


| 1 | -> | 2 | -> | 3 |


通常、リンクリストの先頭にノードを挿入するpush_head()メソッドのように、より多くのメソッドが実装されます。

def push_head(self, value):
    new_node = Node(value)
    new_node.next = self.head
    self.head = new_node

リンクリストクラスにメソッドを追加して、リンクリストをトラバース(すべてのノードのデータを出力)します

def print_list(self):node = self.head while(node):print(node.data)node = node.next

リンクリストにループがあるかどうかに基づいてブール値を返すメソッドを記述します

フロイドの循環検出アルゴリズムを使用してみましょう。

def loop_exists(self):
    one_step_p = self.head
    two_steps_p = self.head
    while(one_step_p and two_steps_p and two_steps_p.next):
        one_step_p = self.head.next
        two_step_p = self.head.next.next
        if (one_step_p == two_steps_p):
            return True 
    return False

Python-スタック

Pythonでスタックを実装する

Pythonテスト

Pythonでテストを作成した経験は何ですか?
PEP8とは何ですか?3つのスタイルガイドラインの例を挙げてください

PEP8は、Pythonのコーディング規約とスタイルガイドラインのリストです。

5つのスタイルガイドライン:

1. Limit all lines to a maximum of 79 characters.
2. Surround top-level function and class definitions with two blank lines.
3. Use commas when making a tuple of one element
4. Use spaces (and not tabs) for indentation
5. Use 4 spaces per indentation level

例外が発生したかどうかをテストするにはどうすればよいですか?
assert
Pythonでは何をしますか?

モックを説明する
小さなコードスニペットの実行時間をどのように測定しますか?
assert
非テスト/本番コードで使用すべきではないのはなぜですか?

フラスコ

Django / Flaskとは何ですか、またそれをどのように使用したか説明していただけますか?なぜDjangoではなくFlaskなのですか?(またはその逆)
ルートとは何ですか?
すべてのWebフレームワークと同様に、Flaskは、特定のURLのコンテンツを提供できるルート機能を提供します。

Pythonの関数を使用してURLをマップする方法は複数あります。

  • デコレータ:Pythonデコレータを使用できます。この場合、を使用しています
    app
    。この
    app
    デコレータは
    Flask
    クラスのインスタンスです。そして、それはこのクラスのメソッドです。
@app.route('/')
def home():
  return 'main website'
  • add_url_rule
    method:これはFlaskクラスのメソッドです。関数を使用してURLをマップするためにも使用できます。
def home():
  return 'main website'

app.add_url_rule('/', view_func=home)

Flaskの青写真とは何ですか?
テンプレートとは何ですか?

ジップ

与えられ
x = [1, 2, 3]
た場合、list(zip(x))の結果は何ですか?

[(1,), (2,), (3,)]

次のそれぞれの結果は何ですか?
list(zip(range(5), range(50), range(50)))
list(zip(range(5), range(50), range(-2)))

[(0, 0, 0), (1, 1, 1), (2, 2, 2), (3, 3, 3), (4, 4, 4)]
[]

Python記述子

記述子を説明する

ここで記述子について読む

a.num2
次のコードを想定して 実行した結果はどうなりますか
class B:
    def __get__(self, obj, objtype=None):
        reuturn 10

class A:
    num1 = 2
    num2 = Five()

10
some_car = Car("Red", 4)
次のコードを想定して 実行した結果はどうなりますか
class Print:

    def __get__(self, obj, objtype=None):
        value = obj._color
        print("Color was set to {}".format(valie))
        return value

    def __set__(self, obj, value):
        print("The color of the car is {}".format(value))
        obj._color = value

class Car:

    color = Print()

    def __ini__(self, color, age):
        self.color = color
        self.age = age

An instance of Car class will be created and the following will be printed: "The color of the car is Red"

Python Misc

How can you spawn multiple processes with Python?
Implement simple calculator for two numbers
def add(num1, num2):
    return num1 + num2


def sub(num1, num2):
    return num1 - num2


def mul(num1, num2):
    return num1*num2


def div(num1, num2):
    return num1 / num2

operators = {
    '+': add,
    '-': sub,
    '*': mul,
    '/': div
}

if __name__ == '__main__':
    operator = str(input("Operator: "))
    num1 = int(input("1st number: "))
    num2 = int(input("2nd number: "))
    print(operators[operator](num1, num2))

What data types are you familiar with that are not Python built-in types but still provided by modules which are part of the standard library?

This is a good reference https://docs.python.org/3/library/datatypes.html

Explain what is a decorator
In python, everything is an object, even functions themselves. Therefore you could pass functions as arguments for another function eg;
def wee(word):
    return word

def oh(f):
    return f + "Ohh"

>>> oh(wee("Wee"))
<<< Wee Ohh

This allows us to control the before execution of any given function and if we added another function as wrapper, (a function receiving another function that receives a function as parameter) we could also control the after execution.

Sometimes we want to control the before-after execution of many functions and it would get tedious to write

 f = function(function_1())
 f = function(function_1(function_2(*args)))

every time, that's what decorators do, they introduce syntax to write all of this on the go, using the keyword '@'.

Can you show how to write and use decorators?
These two decorators (ntimes and timer) are usually used to display decorators functionalities, you can find them in lots of
tutorials/reviews. I first saw these examples two years ago in pyData 2017. https://www.youtube.com/watch?v=7lmCu8wz8ro&t=3731s
Simple decorator:

def deco(f):
    print(f"Hi I am the {f.__name__}() function!")
    return f

@deco
def hello_world():
    return "Hi, I'm in!"

a = hello_world()
print(a)

>>> Hi I am the hello_world() function!
    Hi, I'm in!

This is the simplest decorator version, it basically saves us from writting

a = deco(hello_world())
. But at this point we can only control the before execution, let's take on the after:

def deco(f):
    def wrapper(*args, **kwargs):
        print("Rick Sanchez!")
        func = f(*args, **kwargs)
        print("I'm in!")
        return func
    return wrapper

@deco
def f(word):
    print(word)

a = f("************")
>>> Rick Sanchez!
    ************
    I'm in!

deco receives a function -> f wrapper receives the arguments -> *args, **kwargs

wrapper returns the function plus the arguments -> f(*args, **kwargs) deco returns wrapper.

As you can see we conveniently do things before and after the execution of a given function.

For example, we could write a decorator that calculates the execution time of a function.

import time
def deco(f):
    def wrapper(*args, **kwargs):
        before = time.time()
        func = f(*args, **kwargs)
        after = time.time()
        print(after-before)
        return func
    return wrapper

@deco
def f():
    time.sleep(2)
    print("************")

a = f()
>>> 2.0008859634399414

Or create a decorator that executes a function n times.

def n_times(n):
    def wrapper(f):
        def inner(*args, **kwargs):
            for _ in range(n):
                func = f(*args, **kwargs)
            return func
        return inner
    return wrapper

@n_times(4)
def f():
    print("************")

a = f()

>>>************
   ************
   ************
   ************

Write a decorator that calculates the execution time of a function
Write a script which will determine if a given host is accessible on a given port
Are you familiar with Dataclasses? Can you explain what are they used for?
You wrote a class to represent a car. How would you compare two cars instances if two cars are equal if they have the same model and color?
class Car:
    def __init__(self, model, color):
        self.model = model
        self.color = color

    def __eq__(self, other):
        if not isinstance(other, Car):
            return NotImplemented
        return self.model == other.model and self.color == other.color

>> a = Car('model_1', 'red')
>> b = Car('model_2', 'green')
>> c = Car('model_1', 'red')
>> a == b
False
>> a == c
True

Explain Context Manager
Tell me everything you know about concurrency in Python
Explain the Buffer Protocol
Do you have experience with web scraping? Can you describe what have you used and for what?
Can you implement Linux's
tail
command in Python? Bonus: implement
head
as well

You have created a web page where a user can upload a document. But the function which reads the uploaded files, runs for a long time, based on the document size and user has to wait for the read operation to complete before he/she can continue using the web site. How can you overcome this?
How yield works exactly?

Monitoring

Explain monitoring. What is it? What its goal?

Google: "Monitoring is one of the primary means by which service owners keep track of a system’s health and availability".

What is wrong with the old approach of watching for a specific value and trigger an email/phone alert while value is exceeded?

This approach require from a human to always check why the value exceeded and how to handle it while today, it is more effective to notify people only when they need to take an actual action. If the issue doesn't require any human intervention, then the problem can be fixed by some processes running in the relevant environment.

What types of monitoring outputs are you familiar with and/or used in the past?

Alerts
Tickets
Logging

What is the difference between infrastructure monitoring and application monitoring? (methods, tools, ...)

Prometheus

What is Prometheus? What are some of Prometheus's main features?
In what scenarios it might be better to NOT use Prometheus?

From Prometheus documentation: "if you need 100% accuracy, such as for per-request billing".

Describe Prometheus architecture and components
Can you compare Prometheus to other solutions like InfluxDB for example?
What is an Alert?
Describe the following Prometheus components:
  • Prometheus server
  • Push Gateway
  • Alert Manager

Prometheus server is responsible for scraping and storing the data
Push gateway is used for short-lived jobs
Alert manager is responsible for alerts ;)

What is an Instance? What is a Job?
What core metrics types Prometheus supports?
What is an exporter? What is it used for?
Which Prometheus best practices are you familiar with?. Name at least three
How to get total requests in a given period of time?
What HA in Prometheus means?
How do you join two metrics?
How to write a query that returns the value of a label?
How do you convert cpu_user_seconds to cpu usage in percentage?

Go

What are some characteristics of the Go programming language?
  • Strong and static typing - the type of the variables can't be changed over time and they have to be defined at compile time
  • Simplicity
  • Fast compile times
  • Built-in concurrency
  • Garbage collected
  • Platform independent
  • Compile to standalone binary - anything you need to run your app will be compiled into one binary. Very useful for version management in run-time.

Go also has good community.

What is the difference between
var x int = 2
and
x := 2
?

The result is the same, a variable with the value 2.

With

var x int = 2
we are setting the variable type to integer while with
x := 2
we are letting Go figure out by itself the type.

True or False? In Go we can redeclare variables and once declared we must use it.

False. We can't redeclare variables but yes, we must used declared variables.

What libraries of Go have you used?

This should be answered based on your usage but some examples are:

  • fmt - formatted I/O
What is the problem with the following block of code? How to fix it?
func main() {
    var x float32 = 13.5
    var y int
    y = x
}

The following block of code tries to convert the integer 101 to a string but instead we get "e". Why is that? How to fix it?
package main

import "fmt"

func main() {
    var x int = 101
    var y string
    y = string(x)
    fmt.Println(y)
}

It looks what unicode value is set at 101 and uses it for converting the integer to a string. If you want to get "101" you should use the package "strconv" and replace

y = string(x)
with
y = strconv.Itoa(x)

What is wrong with the following code?:
package main

func main() {
    var x = 2
    var y = 3
    const someConst = x + y
}

Constants in Go can only be declared using constant expressions. But

x
,
y
and their sum is variable.
const initializer x + y is not a constant

What will be the output of the following block of code?:
package main

import "fmt"

const (
	x = iota
	y = iota
)
const z = iota

func main() {
	fmt.Printf("%v\n", x)
	fmt.Printf("%v\n", y)
	fmt.Printf("%v\n", z)
}

Go's iota identifier is used in const declarations to simplify definitions of incrementing numbers. Because it can be used in expressions, it provides a generality beyond that of simple enumerations.

x
and
y
in the first iota group,
z
in the second.
Iota page in Go Wiki

What _ is used for in Go?

It avoids having to declare all the variables for the returns values. It is called the blank identifier.
answer in SO

What will be the output of the following block of code?:
package main

import "fmt"

const (
	_ = iota + 3
	x
)

func main() {
	fmt.Printf("%v\n", x)
}

Since the first iota is declared with the value

3
(
 + 3
), the next one has the value
4

What will be the output of the following block of code?:
package main

import (
	"fmt"
	"sync"
	"time"
)

func main() {
	var wg sync.WaitGroup

	wg.Add(1)
	go func() {
		time.Sleep(time.Second * 2)
		fmt.Println("1")
		wg.Done()
	}()

	go func() {
		fmt.Println("2")
	}()

	wg.Wait()
	fmt.Println("3")
}

Output: 2 1 3

Aritcle about sync/waitgroup

Golang package sync

What will be the output of the following block of code?:
package main

import (
	"fmt"
)

func mod1(a []int) {
	for i := range a {
		a[i] = 5
	}

	fmt.Println("1:", a)
}

func mod2(a []int) {
	a = append(a, 125) // !

	for i := range a {
		a[i] = 5
	}

	fmt.Println("2:", a)
}

func main() {
	s1 := []int{1, 2, 3, 4}
	mod1(s1)
	fmt.Println("1:", s1)

	s2 := []int{1, 2, 3, 4}
	mod2(s2)
	fmt.Println("2:", s2)
}

Output:


1 [5 5 5 5]
1 [5 5 5 5]
2 [5 5 5 5 5]
2 [1 2 3 4]

In

mod1
a is link, and when we're using
a[i]
, we're changing
s1
value to. But in
mod2
,
append
creats new slice, and we're changing only
a
value, not
s2
.

Aritcle about arrays, Blog post about

append

What will be the output of the following block of code?:
package main

import (
	"container/heap"
	"fmt"
)

// An IntHeap is a min-heap of ints.
type IntHeap []int

func (h IntHeap) Len() int           { return len(h) }
func (h IntHeap) Less(i, j int) bool { return h[i] < h[j] }
func (h IntHeap) Swap(i, j int)      { h[i], h[j] = h[j], h[i] }

func (h *IntHeap) Push(x interface{}) {
	// Push and Pop use pointer receivers because they modify the slice's length,
	// not just its contents.
	*h = append(*h, x.(int))
}

func (h *IntHeap) Pop() interface{} {
	old := *h
	n := len(old)
	x := old[n-1]
	*h = old[0 : n-1]
	return x
}

func main() {
	h := &IntHeap{4, 8, 3, 6}
	heap.Init(h)
	heap.Push(h, 7)

  fmt.Println((*h)[0])
}

Output: 3

Golang container/heap package

Mongo

What are the advantages of MongoDB? Or in other words, why choosing MongoDB and not other implementation of NoSQL?

MongoDB advantages are as followings:

  • Schemaless
  • Easy to scale-out
  • No complex joins
  • Structure of a single object is clear

What is the difference between SQL and NoSQL?

The main difference is that SQL databases are structured (data is stored in the form of tables with rows and columns - like an excel spreadsheet table) while NoSQL is unstructured, and the data storage can vary depending on how the NoSQL DB is set up, such as key-value pair, document-oriented, etc.

In what scenarios would you prefer to use NoSQL/Mongo over SQL?
  • Heterogeneous data which changes often
  • Data consistency and integrity is not top priority
  • Best if the database needs to scale rapidly
What is a document? What is a collection?
What is an aggregator?
What is better? Embedded documents or referenced?
Have you performed data retrieval optimizations in Mongo? If not, can you think about ways to optimize a slow data retrieval?
Queries
Explain this query:
db.books.find({"name": /abc/})

Explain this query:
db.books.find().sort({x:1})

What is the difference between find() and find_one()?
How can you export data from Mongo DB?
  • mongoexport
  • programming languages

SQL

SQL Exercises

Name Topic Objective & Instructions Solution Comments
Functions vs. Comparisons Query Improvements Exercise Solution

SQL Self Assessment

What is SQL?

SQL (Structured Query Language) is a standard language for relational databases (like MySQL, MariaDB, ...).
It's used for reading, updating, removing and creating data in a relational database.

How is SQL Different from NoSQL

The main difference is that SQL databases are structured (data is stored in the form of tables with rows and columns - like an excel spreadsheet table) while NoSQL is unstructured, and the data storage can vary depending on how the NoSQL DB is set up, such as key-value pair, document-oriented, etc.

When is it best to use SQL? NoSQL?

SQL - Best used when data integrity is crucial. SQL is typically implemented with many businesses and areas within the finance field due to it's ACID compliance.

NoSQL - Great if you need to scale things quickly. NoSQL was designed with web applications in mind, so it works great if you need to quickly spread the same information around to multiple servers

Additionally, since NoSQL does not adhere to the strict table with columns and rows structure that Relational Databases require, you can store different data types together.

Practical SQL - Basics

For these questions, we will be using the Customers and Orders tables shown below:

Customers

Customer_ID Customer_Name Items_in_cart Cash_spent_to_Date
100204 John Smith 0 20.00
100205 Jane Smith 3 40.00
100206 Bobby Frank 1 100.20

ORDERS

Customer_ID Order_ID Item Price Date_sold
100206 A123 Rubber Ducky 2.20 2019-09-18
100206 A123 Bubble Bath 8.00 2019-09-18
100206 Q987 80-Pack TP 90.00 2019-09-20
100205 Z001 Cat Food - Tuna Fish 10.00 2019-08-05
100205 Z001 Cat Food - Chicken 10.00 2019-08-05
100205 Z001 Cat Food - Beef 10.00 2019-08-05
100205 Z001 Cat Food - Kitty quesadilla 10.00 2019-08-05
100204 X202 Coffee 20.00 2019-04-29
How would I select all fields from this table?

Select *
From Customers;

How many items are in John's cart?

Select Items_in_cart
From Customers
Where Customer_Name = "John Smith";

What is the sum of all the cash spent across all customers?

Select SUM(Cash_spent_to_Date) as SUM_CASH
From Customers;

How many people have items in their cart?

Select count(1) as Number_of_People_w_items
From Customers
where Items_in_cart > 0;

How would you join the customer table to the order table?

You would join them on the unique key. In this case, the unique key is Customer_ID in both the Customers table and Orders table

How would you show which customer ordered which items?

Select c.Customer_Name, o.Item
From Customers c
Left Join Orders o
On c.Customer_ID = o.Customer_ID;

Using a with statement, how would you show who ordered cat food, and the total amount of money spent?

with cat_food as (
Select Customer_ID, SUM(Price) as TOTAL_PRICE
From Orders
Where Item like "%Cat Food%"
Group by Customer_ID
)
Select Customer_name, TOTAL_PRICE
From Customers c
Inner JOIN cat_food f
ON c.Customer_ID = f.Customer_ID
where c.Customer_ID in (Select Customer_ID from cat_food);

Although this was a simple statement, the "with" clause really shines when a complex query needs to be run on a table before joining to another. With statements are nice, because you create a pseudo temp when running your query, instead of creating a whole new table.

The Sum of all the purchases of cat food weren't readily available, so we used a with statement to create the pseudo table to retrieve the sum of the prices spent by each customer, then join the table normally.

Which of the following queries would you use?
SELECT count(*)                             SELECT count(*)
FROM shawarma_purchases                     FROM shawarma_purchases
WHERE                               vs.     WHERE
  YEAR(purchased_at) == '2017'              purchased_at >= '2017-01-01' AND
                                            purchased_at <= '2017-31-12'

SELECT count(*)
FROM shawarma_purchases
WHERE
  purchased_at >= '2017-01-01' AND
  purchased_at <= '2017-31-12'

When you use a function (

YEAR(purchased_at)
) it has to scan the whole database as opposed to using indexes and basically the column as it is, in its natural state.

GCP

Explain GCP's architecture
What are the main components and services of GCP?
Components Services
Compute Compute Engine
App Engine
Kubernetes Engine
Cloud Function
Cloud Run
Storage & Cloud Storage
Database Cloud SQL
Cloud BigTable
Cloud Spanner
Cloud Datastore
Networking VPC
Load Balancing
Cloud Armor
Cloud CDN
Cloud DNS
Cloud Interconnect
Big Data Big Query
Cloud Dataproc
Cloud Datalab
Data Studio
DevOps Container Registry
Cloud Build
Source Repository
Identity & Cloud Identity
Security Cloud IAM
Cloud KMS
Cloud AI Cloud AutoML
Cloud Vision API
Natural Language
Cloud Speech-to-Text
Cloud Text-to-Speech
Cloud Translation API
Cloud Video Intelligence
API Platform Maps Platform
API Analytics
Apigee Sense
Cloud Endpoints

What GCP management tools are you familiar with?
Tell me what do you know about GCP networking

Virtual Private Cloud(VPC) network is a virtual version of physical network, implemented in Google's internal Network. VPC is a gloabal resource in GCP. Subnetworks(subnets) are regional resources, ie., subnets can be created withinin regions.

VPC are created in 2 modes,

  1. Auto mode VPC - One subnet in each region is created automatically by GCP while creating VPC

  2. Custom mode VPC - No subnets are automatically created. This type of network provides complete control over the subnets creation to the users.

Explain Cloud Functions

Google Cloud Functions is a serverless execution environment for building and connecting cloud services. With Cloud Functions you write simple, single-purpose functions that are attached to events emitted from your cloud infrastructure and services. Your function is triggered when an event being watched is fired.

What is Cloud Datastore?

Cloud Datastore is a schemaless NoSQL datastore in Google's cloud. Applications can use Datastore to query your data with SQL-like queries that support filtering and sorting. Datastore replicates data across multiple datacenters, which provides a high level of read/write availability.

What network tags are used for?

Network tags allow you to apply firewall rules and routes to a specific instance or set of instances: You make a firewall rule applicable to specific instances by using target tags and source tags.

What are flow logs? Where are they enabled?

VPC Flow Logs records a sample of network flows sent from and received by VM instances, including instances used as Google Kubernetes Engine nodes. These logs can be used for network monitoring, forensics, real-time security analysis, and expense optimization.

Enable Flow Logs

  1. Open VPC Network in GCP Console

  2. Click the name of the subnet

  3. Click EDIT button

  4. Set Flow Logs to On

  5. Click Save

How do you list buckets?
Two ways to do that:

$ gsutil ls

$ gcloud alpha storage ls

What Compute metadata key allows you to run code at startup?

startap-script

What the following commands does? `gcloud deployment-manager deployments create`

Deployment Manager creates a new deployment.

What is Cloud Code?
It is a set of tools to help developers write, run and debug GCP kubernetes based applications. It provides built-in support for rapid iteration, debugging and running applications in development and production K8s environments.

Google Kubernetes Engine (GKE)

What is GKE
  • It is the managed kubernetes service on GCP for deploying, managing and scaling containerised applications using Google infrastructure.

Anthos

What is Anthos
It is a managed application platform for organisations like enterprises that require quick modernisation and certain levels of consistency for their legacy applications in a hybrid or multicloud world. From this explanation the core ideas can be drawn from these statements;
  • Managed -> the customer does not need to worry about the underlying software intergrations, they just enable the API.
  • application platform -> It consists of open source tools like K8s, Knative, Istio and Tekton
  • Enterprises -> these are usually organisations with complex needs
  • Consistency -> to have the same policies declaratively initiated to be run anywhere securely e.g on-prem, GCP or other-clouds (AWS or Azure)

fun fact: Anthos is flower in greek, they grow in the ground (earth) but need rain from the clouds to flourish.

List the technical components that make up Anthos
  • Infrastructure management - Google Kubernetes Engine (GKE)
  • Cluster management - GKE, Ingress for Anthos
  • Service management - Anthos Service Mesh
  • Policy enforcement - Anthos Config Management, Anthos Enterprise Data Protection, Policy Controller
  • Application deployment - CI/CD tools like Cloud Build, GitLab
  • Application development - Cloud Code
What is the primary computing environment for Anthos to easily manage workload deployment?
  • Google Kubernetes Engine (GKE)
How does Anthos handle the control plane and node components for GKE?

On GCP the kubernetes api-server is the only control plane component exposed to customers whilst compute engine manages instances in the project.

Which load balancing options are available?
  • Networking load balancing for L4 and HTTP(S) Load Balancing for L7 which are both managed services that do not require additional configuration.
  • Ingress for Anthos which allows the ability to deploy a load balancer that serves an application across multiple clusters on GKE
Can you deploy Anthos on AWS?
  • Yes, Anthos on AWS is now GA. For more read here
List and explain the enterprise security capabilities provided by Anthos
  • Control plane security - GCP manages and maintains the K8s control plane out of the box. The user can secure the api-server by using master authorized networks and private clusters. These allow the user to disable access on the public IP address by assigning a private IP address to the master.
  • Node security - By default workloads are provisioned on Compute engine instances that use Google's Container Optimised OS. This operating system implements a locked-down firewall, limited user accounts with root disabled and a read-only filesystem. There is a further option to enable GKE Sandbox for stronger isolation in multi-tenant deployment scenarios.
  • Network security - Within a created cluster VPC, Anthos GKE leverages a powerful software-defined network that enables simple Pod-to-Pod communications. Network policies allow locking down ingress and egress connections in a given namespace. Filtering can also be implemented to incoming load-balanced traffic for services that require external access, by supplying whitelisted CIDR IP ranges.
  • Workload security - Running workloads run with limited privileges, default Docker AppArmor security policies are applied to all Kubernetes Pods. Workload identity for Anthos GKE aligns with the open source kubernetes service accounts with GCP service account permissions.
  • Audit logging - Adminstrators are given a way to retain, query, process and alert on events of the deployed environments.
How can workloads deployed on Anthos GKE on-prem clusters securely connect to Google Cloud services?
  • Google Cloud Virtual Private Network (Cloud VPN) - this is for secure networking
  • Google Cloud Key Management Service (Cloud KMS) - for key management
What is Island Mode configuration with regards to networking in Anthos GKE deployed on-prem?
  • This is when pods can directly talk to each other within a cluster, but cannot be reached from outside the cluster thus forming an "island" within the network that is not connected to the external network.
Explain Anthos Config Management

It is a core component of the Anthos stack which provides platform, service and security operators with a single, unified approach to multi-cluster management that spans both on-premises and cloud environments. It closely follows K8s best practices, favoring declarative approaches over imperative operations, and actively monitors cluster state and applies the desired state as defined in Git. It includes three key components as follows:

  1. An importer that reads from a central Git repository
  2. A component that synchronises stored configuration data into K8s objects
  3. A component that monitors drift between desired and actual cluster configurations with a capability of reconciliation when need rises.
How does Anthos Config Management help?

It follows common modern software development practices which makes cluster configuration, management and policy changes auditable, revertable, and versionable easily enforcing IT governance and unifying resource management in an organisation.

What is Anthos Service Mesh?
  • It is a suite of tools that assist in monitoring and managing deployed services on Anthos of all shapes and sizes whether running in cloud, hybrid or multi-cloud environments. It leverages the APIs and core components from Istio, a highly configurable and open-source service mesh platform.
Describe the two main components of Anthos Service Mesh
  1. Data plane - it consists of a set of distributed proxies that mediate all inbound and outbound network traffic between individual services which are configured using a centralised control plane and an open API
  2. Control plane - is a fully managed offering outside of Anthos GKE clusters to simplify management overhead and ensure highest possible availability.
What are the components of the managed control plane of Anthos Service Mesh?
  1. Traffic Director - it is GCP's fully managed service mesh traffic control plane, responsible for translating Istio API objects into configuration information for the distributed proxies, as well as directing service mesh ingress and egress traffic
  2. Managed CA - is a centralised certificate authority responsible for providing SSL certificates to each of the distributed proxies, authentication information and distributing secrets
  3. Operations tooling - formerly stackdriver, provides a managed ingestion point for observability and telemetry, specifically monitoring, tracing and logging data generated by each of the proxies. This powers the observability dashboard for operators to visually inspect their services and service dependencies assisting in the implementation of SRE best practices for monitoring SLIs and establishing SLOs.
How does Anthos Service Mesh help?
Tool and technology integration that makes up Anthos service mesh delivers signficant operational benefits to Anthos environments, with minimal additional overhead such as follows:
  • Uniform observability - the data plane reports service to service communication back to the control plane generating a service dependency graph. Traffic inspection by the proxy inserts headers to facilitate distributed tracing, capturing and reporting service logs together with service-level metrics (i.e latency, errors, availability).
  • Operational agility - fine-grained controls for managing the flow of inter-mesh (north-south) and intra-mesh (east-west) traffic are provided.
  • Policy-driven security - policies can be enforced consistently across diverse protocols and runtimes as service communications are secured by default.
List possible use cases of traffic controls that can be implemented within Anthos Service Mesh
  • Traffic splitting across differing service versions for canary or A/B testing
  • Circuit breaking to prevent cascading failures
  • Fault injection to help build resilient and fault-tolerant deployments
  • HTTP header-based traffic steering between individual services or versions
What is Cloud Run for Anthos?

It is part of the Anthos stack that brings a serverless container experience to Anthos, offering a high-level platform experience on top of K8s clusters. It is built with Knative, an open-source operator for K8s that brings serverless application serving and eventing capabilities.

How does Cloud Run for Anthos simplify operations?

Platform teams in organisations that wish to offer developers additional tools to test, deploy and run applications can use Knative to enhance this experience on Anthos as Cloud Run. Below are some of the benefits;

  • Easy migration from K8s deployments - Without Cloud Run, platform engineers have to configure deployment, service, and HorizontalPodAutoscalers(HPA) objects to a loadbalancer and autoscaling. If application is already serving traffic it becomes hard to change configurations or roll back efficiently. Using Cloud Run all this is managed thus the Knative service manifest describes the application to be autoscaled and loadbalanced
  • Autoscaling - a sudden traffic spike may cause application containers in K8s to crash due to overload thus an efficient automated autoscaling is executed to serve the high volume of traffic
  • Networking - it has built-in load balancing capabilities and policies for traffic splitting between multiple versions of an application.
  • Releases and rollouts - supports the notion of the Knatibe API's revisions which describe new versions or different configurations of your application and canary deployments by splitting traffic.
  • Monitoring - observing and recording metrics such as latency, error rate and requests per second.
List and explain three high-level out of the box autoscaling primitives offered by Cloud Run for Anthos that do not exist in K8s natively
  • Rapid, request-based autoscaling - default autoscalers monitor request metrics which allows Cloud Run for Anthos to handle spiky traffic patterns smoothly
  • Concurrency controls - limits such as max in-flight requests per container are enforced to ensure the container does not become overloaded and crash. More containers are added to handle the spiky traffic, buffering the requests.
  • Scale to zero - if an application is inactive for a while Cloud Run scales it down to zero to reduce its footprint. Alternatively one can turn off scale-to-zero to prevent cold starts.
List some Cloud Run for Anthos use cases

As it does not support stateful applications or sticky sessions, it is suitable for running stateless applications such as:

  • Machine learning model predictions e.g Tensorflow serving containers
  • API gateways, API middleware, web front ends and Microservices
  • Event handlers, ETL

OpenStack

What components/projects of OpenStack are you familiar with?
Can you tell me what each of the following services/projects is responsible for?:
  • Nova
  • Neutron
  • Cinder
  • Glance
  • Keystone

  • Nova - Manage virtual instances
  • Cinder - Block Storage
  • Keystone - Authentication service across the cloud
Identify the service/project used for each of the following:
  • Copy or snapshot instances
  • GUI for viewing and modifying resources
  • Block Storage
  • Manage virtual instances

  • Glance - Images Service. Also used for copying or snapshot instances
  • Horizon - GUI for viewing and modifying resources
  • Cinder - Block Storage
  • Nova - Manage virtual instances
What is a tenant/project?
Determine true or false:
  • OpenStack is free to use
  • The service responsible for networking is Glance
  • The purpose of tenant/project is to share resources between different projects and users of OpenStack

Describe in detail how you bring up an instance with a floating IP
You get a call from a customer saying: "I can ping my instance but can't connect (ssh) it". What might be the problem?
What types of networks OpenStack supports?
How do you debug OpenStack storage issues? (tools, logs, ...)
How do you debug OpenStack compute issues? (tools, logs, ...)

OpenStack Deployment & TripleO

Have you deployed OpenStack in the past? If yes, can you describe how you did it?
Are you familiar with TripleO? How is it different from Devstack or Packstack?

You can read about TripleO right here

OpenStack Compute

Can you describe Nova in detail?
  • Used to provision and manage virtual instances
  • It supports Multi-Tenancy in different levels - logging, end-user control, auditing, etc.
  • Highly scalable
  • Authentication can be done using internal system or LDAP
  • Supports multiple types of block storage
  • Tries to be hardware and hypervisor agnostice
What do you know about Nova architecture and components?
  • nova-api - the server which serves metadata and compute APIs
  • the different Nova components communicate by using a queue (Rabbitmq usually) and a database
  • a request for creating an instance is inspected by nova-scheduler which determines where the instance will be created and running
  • nova-compute is the component responsible for communicating with the hypervisor for creating the instance and manage its lifecycle

OpenStack Networking (Neutron)

Explain Neutron in detail
  • One of the core component of OpenStack and a standalone project
  • Neutron focused on delivering networking as a service
  • With Neutron, users can set up networks in the cloud and configure and manage a variety of network services
  • Neutron interacts with:
    • Keystone - authorize API calls
    • Nova - nova communicates with neutron to plug NICs into a network
    • Horizon - supports networking entities in the dashboard and also provides topology view which includes networking details
Explain each of the following components:
  • neutron-dhcp-agent
  • neutron-l3-agent
  • neutron-metering-agent
  • neutron-*-agtent
  • neutron-server

  • neutron-l3-agent - L3/NAT forwarding (provides external network access for VMs for example)
  • neutron-dhcp-agent - DHCP services
  • neutron-metering-agent - L3 traffic metering
  • neutron-*-agtent - manages local vSwitch configuration on each compute (based on chosen plugin)
  • neutron-server - exposes networking API and passes requests to other plugins if required
Explain these network types:
  • Management Network
  • Guest Network
  • API Network
  • External Network

  • Management Network - used for internal communication between OpenStack components. Any IP address in this network is accessible only within the datacetner
  • Guest Network - used for communication between instances/VMs
  • API Network - used for services API communication. Any IP address in this network is publicly accessible
  • External Network - used for public communication. Any IP address in this network is accessible by anyone on the internet
In which order should you remove the following entities:
  • Network
  • Port
  • Router
  • Subnet

  • Port
  • Subnet
  • Router
  • Network

There are many reasons for that. One for example: you can't remove router if there are active ports assigned to it.

What is a provider network?
What components and services exist for L2 and L3?
What is the ML2 plug-in? Explain its architecture
What is the L2 agent? How does it works and what is it responsible for?
What is the L3 agent? How does it works and what is it responsible for?
Explain what the Metadata agent is responsible for
What networking entities Neutron supports?
How do you debug OpenStack networking issues? (tools, logs, ...)

OpenStack - Glance

Explain Glance in detail
  • Glance is the OpenStack image service
  • It handles requests related to instances disks and images
  • Glance also used for creating snapshots for quick instances backups
  • Users can use Glance to create new images or upload existing ones
Describe Glance architecture
  • glance-api - responsible for handling image API calls such as retrieval and storage. It consists of two APIs: 1. registry-api - responsible for internal requests 2. user API - can be accessed publicly
  • glance-registry - responsible for handling image metadata requests (e.g. size, type, etc). This component is private which means it's not available publicly
  • metadata definition service - API for custom metadata
  • database - for storing images metadata
  • image repository - for storing images. This can be a filesystem, swift object storage, HTTP, etc.

OpenStack - Swift

Explain Swift in detail
  • Swift is Object Store service and is an highly available, distributed and consistent store designed for storing a lot of data
  • Swift is distributing data across multiple servers while writing it to multiple disks
  • One can choose to add additional servers to scale the cluster. All while swift maintaining integrity of the information and data replications.
Can users store by default an object of 100GB in size?

Not by default. Object Storage API limits the maximum to 5GB per object but it can be adjusted.

Explain the following in regards to Swift:
  • Container
  • Account
  • Object

  • Container - Defines a namespace for objects.
  • Account - Defines a namespace for containers
  • Object - Data content (e.g. image, document, ...)
True or False? there can be two objects with the same name in the same container but not in two different containers

False. Two objects can have the same name if they are in different containers.

OpenStack - Cinder

Explain Cinder in detail
  • Cinder is OpenStack Block Storage service
  • It basically provides used with storage resources they can consume with other services such as Nova
  • One of the most used implementations of storage supported by Cinder is LVM
  • From user perspective this is transparent which means the user doesn't know where, behind the scenes, the storage is located or what type of storage is used
Describe Cinder's components
  • cinder-api - receives API requests
  • cinder-volume - manages attached block devices
  • cinder-scheduler - responsible for storing volumes

OpenStack - Keystone

Can you describe the following concepts in regards to Keystone?
  • Role
  • Tenant/Project
  • Service
  • Endpoint
  • Token

  • Role - A list of rights and privileges determining what a user or a project can perform
  • Tenant/Project - Logical representation of a group of resources isolated from other groups of resources. It can be an account, organization, ...
  • Service - An endpoint which the user can use for accessing different resources
  • Endpoint - a network address which can be used to access a certain OpenStack service
  • Token - Used for access resources while describing which resources can be accessed by using a scope
What are the properties of a service? In other words, how a service is identified?

Using:

  • Name
  • ID number
  • Type
  • Description
Explain the following: - PublicURL - InternalURL - AdminURL
  • PublicURL - Publicly accessible through public internet
  • InternalURL - Used for communication between services
  • AdminURL - Used for administrative management
What is a service catalog?

A list of services and their endpoints

OpenStack Advanced - Services

Describe each of the following services
  • Swift
  • Sahara
  • Ironic
  • Trove
  • Aodh
  • Ceilometer

  • Swift - highly available, distributed, eventually consistent object/blob store
  • Sahara - Manage Hadoop Clusters
  • Ironic - Bare Metal Provisioning
  • Trove - Database as a service that runs on OpenStack
  • Aodh - Alarms Service
  • Ceilometer - Track and monitor usage
Identify the service/project used for each of the following:
  • Database as a service which runs on OpenStack
  • Bare Metal Provisioning
  • Track and monitor usage
  • Alarms Service
  • Manage Hadoop Clusters
  • highly available, distributed, eventually consistent object/blob store

  • Database as a service which runs on OpenStack - Trove
  • Bare Metal Provisioning - Ironic
  • Track and monitor usage - Ceilometer
  • Alarms Service - Aodh
  • Manage Hadoop Clusters
  • Manage Hadoop Clusters - Sahara
  • highly available, distributed, eventually consistent object/blob store - Swift

OpenStack Advanced - Keystone

Can you describe Keystone service in detail?
  • You can't have OpenStack deployed without Keystone
  • It Provides identity, policy and token services
    • The authentication provided is for both users and services
    • The authorization supported is token-based and user-based.
  • There is a policy defined based on RBAC stored in a JSON file and each line in that file defines the level of access to apply
Describe Keystone architecture
  • There is a service API and admin API through which Keystone gets requests
  • Keystone has four backends:
    • Token Backend - Temporary Tokens for users and services
    • Policy Backend - Rules management and authorization
    • Identity Backend - users and groups (either standalone DB, LDAP, ...)
    • Catalog Backend - Endpoints
  • It has pluggable environment where you can integrate with:
    • LDAP
    • KVS (Key Value Store)
    • SQL
    • PAM
    • Memcached
Describe the Keystone authentication process
  • Keystone gets a call/request and checks whether it's from an authorized user, using username, password and authURL
  • Once confirmed, Keystone provides a token.
  • A token contains a list of user's projects so there is no to authenticate every time and a token can submitted instead

OpenStack Advanced - Compute (Nova)

What each of the following does?:
  • nova-api
  • nova-compuate
  • nova-conductor
  • nova-cert
  • nova-consoleauth
  • nova-scheduler

  • nova-api - responsible for managing requests/calls
  • nova-compute - responsible for managing instance lifecycle
  • nova-conductor - Mediates between nova-compute and the database so nova-compute doesn't access it directly
What types of Nova proxies are you familiar with?
  • Nova-novncproxy - Access through VNC connections
  • Nova-spicehtml5proxy - Access through SPICE
  • Nova-xvpvncproxy - Access through a VNC connection

OpenStack Advanced - Networking (Neutron)

Explain BGP dynamic routing
What is the role of network namespaces in OpenStack?

OpenStack Advanced - Horizon

Can you describe Horizon in detail?
  • Django-based project focusing on providing an OpenStack dashboard and the ability to create additional customized dashboards
  • You can use it to access the different OpenStack services resources - instances, images, networks, ...
    • By accessing the dashboard, users can use it to list, create, remove and modify the different resources
  • It's also highly customizable and you can modify or add to it based on your needs
What can you tell about Horizon architecture?
  • API is backward compatible
  • There are three type of dashboards: user, system and settings
  • It provides core support for all OpenStack core projects such as Neutron, Nova, etc. (out of the box, no need to install extra packages or plugins)
  • Anyone can extend the dashboards and add new components
  • Horizon provides templates and core classes from which one can build its own dashboard

Puppet

What is Puppet? How does it works?
Explain Puppet architecture
Can you compare Puppet to other configuration management tools? Why did you chose to use Puppet?
Explain the following:
  • Module
  • Manifest
  • Node

Explain Facter
What is MCollective?
Do you have experience with writing modules? Which module have you created and for what?
Explain what is Hiera

Elastic

What is the Elastic Stack?

The Elastic Stack consists of:

  • Elasticsearch
  • Kibana
  • Logstash
  • Beats
  • Elastic Hadoop
  • APM Server

Elasticserach, Logstash and Kibana are also known as the ELK stack.

Explain what is Elasticsearch

From the official docs:

"Elasticsearch is a distributed document store. Instead of storing information as rows of columnar data, Elasticsearch stores complex data structures that have been serialized as JSON documents"

What is Logstash?

From the blog:

"Logstash is a powerful, flexible pipeline that collects, enriches and transports data. It works as an extract, transform & load (ETL) tool for collecting log messages."

Explain what beats are

Beats are lightweight data shippers. These data shippers installed on the client where the data resides. Examples of beats: Filebeat, Metricbeat, Auditbeat. There are much more.

What is Kibana?

From the official docs:

"Kibana is an open source analytics and visualization platform designed to work with Elasticsearch. You use Kibana to search, view, and interact with data stored in Elasticsearch indices. You can easily perform advanced data analysis and visualize your data in a variety of charts, tables, and maps."

Describe what happens from the moment an app logged some information until it's displayed to the user in a dashboard when the Elastic stack is used

The process may vary based on the chosen architecture and the processing you may want to apply to the logs. One possible workflow is:

  1. The data logged by the application is picked by filebeat and sent to logstash
  2. Logstash process the log based on the defined filters. Once done, the output is sent to Elasticsearch
  3. Elasticsearch stores the document it got and the document is indexed for quick future access
  4. The user creates visualizations in Kibana which based on the indexed data
  5. The user creates a dashboard which composed out of the visualization created in the previous step
Elasticsearch
What is a data node?

This is where data is stored and also where different processing takes place (e.g. when you search for a data).

What is a master node?

Par of a master node responsibilites:

  • Track the status of all the nodes in the cluster
  • Verify replicas are working and the data is available from every data node.
  • No hot nodes (no data node that works much harder than other nodes)

While there can be multiple master nodes in reality only of them is the elected master node.

What is an ingest node?

A node which responsible for parsing the data. In case you don't use logstash then this node can recieve data from beats and parse it, similarly to how it can be parsed in Logstash.

What is Coordinating node?

A Coordinating node responsible for routing requests out and in to the cluser (data nodes).

How data is stored in elasticsearch?
  • Data is stored in an index
  • The index is spread across the cluster using shards
What is an Index?

Index in Elastic is in most cases compared to a whole database from the SQL/NoSQL world.
You can choose to have one index to hold all the data of your app or have multiple indices where each index holds different type of your app (e.g. index for each service your app is running).

The official docs also offer a great explanation (in general, it's really good documentation, as every project should have):

"An index can be thought of as an optimized collection of documents and each document is a collection of fields, which are the key-value pairs that contain your data"

Explain Shards

An index is split into shards and documents are hashed to a particular shard. Each shard may be on a different node in a cluster and each one of the shards is a self contained index.
This allows Elasticsearch to scale to an entire cluster of servers.

What is an Inverted Index?

From the official docs:

"An inverted index lists every unique word that appears in any document and identifies all of the documents each word occurs in."

What is a Document?

Continuing with the comparison to SQL/NoSQL a Document in Elastic is a row in table in the case of SQL or a document in a collection in the case of NoSQL. As in NoSQL a Document is a JSON object which holds data on a unit in your app. What is this unit depends on the your app. If your app related to book then each document describes a book. If you are app is about shirts then each document is a shirt.

You check the health of your elasticsearch cluster and it's red. What does it mean? What can cause the status to be yellow instead of green?

Red means some data is unavailable. Yellow can be caused by running single node cluster instead of multi-node.

True or False? Elasticsearch indexes all data in every field and each indexed field has the same data structure for unified and quick query ability

False. From the official docs:

"Each indexed field has a dedicated, optimized data structure. For example, text fields are stored in inverted indices, and numeric and geo fields are stored in BKD trees."

What reserved fields a document has?
  • _index
  • _id
  • _type
Explain Mapping
What are the advantages of defining your own mapping? (or: when would you use your own mapping?)
  • You can optimize fields for partial matching
  • You can define custom formats of known fields (e.g. date)
  • You can perform language-specific analysis
Explain Replicas

In a network/cloud environment where failures can be expected any time, it is very useful and highly recommended to have a failover mechanism in case a shard/node somehow goes offline or disappears for whatever reason. To this end, Elasticsearch allows you to make one or more copies of your index’s shards into what are called replica shards, or replicas for short.

Can you explain Term Frequency & Document Frequency?

Term Frequency is how often a term appears in a given document and Document Frequency is how often a term appears in all documents. They both are used for determining the relevance of a term by calculating Term Frequency / Document Frequency.

You check "Current Phase" under "Index lifecycle management" and you see it's set to "hot". What does it mean?

"The index is actively being written to". More about the phases here

What this command does?
curl -X PUT "localhost:9200/customer/_doc/1?pretty" -H 'Content-Type: application/json' -d'{ "name": "John Doe" }'

It creates customer index if it doesn't exists and adds a new document with the field name which is set to "John Dow". Also, if it's the first document it will get the ID 1.

What will happen if you run the previous command twice? What about running it 100 times?
  1. If name value was different then it would update "name" to the new value
  2. In any case, it bumps version field by one
What is the Bulk API? What would you use it for?

Bulk API is used when you need to index multiple documents. For high number of documents it would be significantly faster to use rather than individual requests since there are less network roundtrips.

Query DSL
Explain Elasticsearch query syntax (Booleans, Fields, Ranges)
Explain what is Relevance Score
Explain Query Context and Filter Context

From the official docs:

"In the query context, a query clause answers the question “How well does this document match this query clause?” Besides deciding whether or not the document matches, the query clause also calculates a relevance score in the _score meta-field."

"In a filter context, a query clause answers the question “Does this document match this query clause?” The answer is a simple Yes or No — no scores are calculated. Filter context is mostly used for filtering structured data"

Describe how would an architecture of production environment with large amounts of data would be different from a small-scale environment

There are several possible answers for this question. One of them is as follows:

A small-scale architecture of elastic will consist of the elastic stack as it is. This means we will have beats, logstash, elastcsearch and kibana.
A production environment with large amounts of data can include some kind of buffering component (e.g. Reddis or RabbitMQ) and also security component such as Nginx.

Logstash
What are Logstash plugins? What plugins types are there?
  • Input Plugins - how to collect data from different sources
  • Filter Plugins - processing data
  • Output Plugins - push data to different outputs/services/platforms
What is grok?

A logstash plugin which modifies information in one format and immerse it in another.

How grok works?
What grok patterns are you familiar with?
What is `_grokparsefailure?`
How do you test or debug grok patterns?
What are Logstash Codecs? What codecs are there?
Kibana
What can you find under "Discover" in Kibana?

The raw data as it is stored in the index. You can search and filter it.

You see in Kibana, after clicking on Discover, "561 hits". What does it mean?

Total number of documents matching the search results. If not query used then simply the total number of documents.

What can you find under "Visualize"?

"Visualize" is where you can create visual representations for your data (pie charts, graphs, ...)

What visualization types are supported/included in Kibana?
What visualization type would you use for statistical outliers
Describe in detail how do you create a dashboard in Kibana

Filebeat

What is Filebeat?
If one is using ELK, is it a must to also use filebeat? In what scenarios it's useful to use filebeat?
What is a harvester?

Read here

True or False? a single harvester harvest multiple files, according to the limits set in filebeat.yml

False. One harvester harvests one file.

What are filebeat modules?

Elastic Stack

How do you secure an Elastic Stack?

You can generate certificates with the provided elastic utils and change configuration to enable security using certificates model.

Distributed

Explain Distributed Computing (or Distributed System)

According to Martin Kleppmann:

"Many processes running on many machines...only message-passing via an unreliable network with variable delays, and the system may suffer from partial failures, unreliable clocks, and process pauses."

Another definition: "Systems that are physically separated, but logically connected"

What can cause a system to fail?
  • Network
  • CPU
  • Memory
  • Disk
Do you know what is "CAP theorem"? (aka as Brewer's theorem)

CAP定理によると、分散データストアが次の2つ以上を同時に提供することはできません。

  • 可用性:すべてのリクエストがレスポンスを受け取ります(最新のデータである必要はありません)
  • 一貫性:すべてのリクエストは、最新/最新のデータを含む応答を受け取ります
  • パーティションの許容範囲:一部のデータが失われたり削除されたりしても、システムは稼働し続けます
次のデザインの問題点は何ですか?それを改善する方法は?

1.移行には時間がかかる場合があります。言い換えれば、顕著なダウンタイムです。2.スタンバイサーバーはリソースの浪費です-最初のアプリケーションサーバーが実行されている場合、スタンバイは何もしません
次のデザインの問題点は何ですか?それを改善する方法は?

問題:ロードバランサーが停止すると、アプリケーションと通信できなくなります。

改善する方法:

  • 別のロードバランサーを追加する
  • 両方のロードバランサーにDNSAレコードを使用する
  • メッセージキューを使用する
「シェアードナッシング」アーキテクチャとは何ですか?

これは、リクエストが多くのノードの1つに到達し、データが1つの共有場所(ストレージ)から取得されるアーキテクチャとは対照的に、データが単一の非共有ソースから取得され、通常は1つのノードに排他的に接続されるアーキテクチャです。 、 メモリー、 ...)。

サイドカーパターン(またはサイドカープロキシ)を説明する

その他

名前 トピック 目的と手順 解決 コメントコメント
高可用性「HelloWorld」 エクササイズ 解決
ブラウザのアドレスバーにURLを入力するとどうなりますか?
  1. ブラウザは、DNS内のドメイン名IPアドレスのレコードを次の順序で検索します。
  • ブラウザキャッシュ
  • オペレーティングシステムのキャッシュ
  • ユーザーのシステムで構成されているDNSサーバー(ISP DNS、パブリックDNSなど)
  1. ローカルでDNSレコードが見つからなかった場合は、完全なDNS解決が開始されます。
  2. TCPプロトコルを使用してサーバーに接続します
  3. ブラウザはサーバーにHTTPリクエストを送信します
  4. サーバーはHTTP応答をブラウザに送り返します
  5. ブラウザは応答をレンダリングします(例:HTML)
  6. 次に、ブラウザは必要に応じて後続のリクエストをサーバーに送信して、埋め込みリンク、JavaScript、HTMLの画像を取得し、手順3〜5を繰り返します。

TODO:詳細を追加してください!

API

APIとは何かを説明する

私はblog.christianposta.comからのこの定義が好きです:

「ソフトウェア開発者が制御された快適な方法で組織内のデータと機能にプログラムでアクセスできるようにする、ネットワークを介して呼び出されるように設計された、明示的かつ意図的に定義されたインターフェイス。」

API仕様とは何ですか?

swagger.ioから:

「API仕様は、APIの動作と、APIが他のAPIとどのようにリンクするかについての幅広い理解を提供します。これは、APIがどのように機能し、APIを使用したときに期待される結果を説明します。」

正しいか間違っているか?API定義はAPI仕様と同じです

間違い。swagger.ioから:

「API定義は、APIがどのように編成され、APIがどのように機能するかを理解できるという点で、API仕様に似ています。しかし、API定義は、APIの人間による消費ではなく、マシンの消費を目的としています。」

APIのペイロードとは何ですか?
自動化とは何ですか?オーケストレーションとどのように関連しているか、または異なっていますか?

自動化とは、ITテクノロジーとシステムに関する人間の介入や相互作用を減らすために、タスクを自動化する行為です。
自動化はタスクレベルに焦点を合わせていますが、オーケストレーションは、通常は複数のシステムにまたがる複数のタスクで構成されるプロセスやワークフローを自動化するプロセスです。

あなたが見つけて修正した興味深いバグについて教えてください
Debugggerとは何ですか?どのように機能しますか?
アプリケーションにはどのようなサービスがありますか?
  • 承認
  • ロギング
  • 認証
  • 注文
  • フロントエンド
  • バックエンド..。
メタデータとは何ですか?

データに関するデータ。基本的に、基礎となるデータが保持する情報のタイプを記述します。

JSON、YAML、XMLのいずれかの形式を使用できます。どちらを使いますか?なんで?

私はあなたのためにこれに答えることはできません:)

KPIとは何ですか?
OKRとは?
DSL(ドメイン固有言語)とは何ですか?

Domain Specific Language (DSLs) are used to create a customised language that represents the domain such that domain experts can easily interpret it.

What's the difference between KPI and OKR?

YAML

What is YAML?

Data serialization language used by many technologies today like Kubernetes, Ansible, etc.

True or False? Any valid JSON file is also a valid YAML file

True. Because YAML is superset of JSON.

What is the format of the following data?
{
    applications: [
        {
            name: "my_app",
            language: "python",
            version: 20.17
        }
    ]
}

JSON
What is the format of the following data?
applications:
  - app: "my_app"
    language: "python"
    version: 20.17

YAML
How to write a multi-line string with YAML? What use cases is it good for?
someMultiLineString: |
  look mama
  I can write a multi-line string
  I love YAML

It's good for use cases like writing a shell script where each line of the script is a different command.

What is the difference between
someMultiLineString: |
to
someMultiLineString: >
?

using

>
will make the multi-line string to fold into a single line

someMultiLineString: >
  This is actually
  a single line
  do not let appearances fool you

What are placeholders in YAML?

They allow you reference values instead of directly writing them and it is used like this:

username: {{ my.user_name }}

How can you define multiple YAML components in one file?

Using this:

---
For Examples:

document_number: 1
---
document_number: 2

Firmware

Explain what is a firmware

Wikipedia: "In computing, firmware is a specific class of computer software that provides the low-level control for a device's specific hardware. Firmware, such as the BIOS of a personal computer, may contain basic functions of a device, and may provide hardware abstraction services to higher-level software such as operating systems."

Customers and Service Providers

What is SLO (service-level objective)?
What is SLA (service-level agreement)?

Jira

Explain/Demonstrate the following types in Jira:
  • Epic
  • Story
  • Task

What is a project in Jira?

Kafka

What is Kafka?
In Kafka, how to automatically balance brokers leadership of partitions in a cluster?
  • Enable auto leader election and reduce the imbalance percentage ratio
  • Manually rebalance by using kafkat
  • Configure group.initial.rebalance.delay.ms to 3000
  • All of the above

Cassandra

When running a cassandra cluster, how often do you need to run nodetool repair in order to keep the cluster consistent?
  • Within the columnFamily GC-grace Once a week
  • Less than the compacted partition minimum bytes
  • Depended on the compaction strategy

HTTP

What is HTTP?
Describe HTTP request lifecycle
  • Resolve host by request to DNS resolver
  • Client SYN
  • Server SYN+ACK
  • Client SYN
  • HTTP request
  • HTTP response
True or False? HTTP is stateful

False. It doesn't maintain state for incoming request.

How HTTP request looks like?

It consists of:

  • Request line - request type
  • Headers - content info like length, enconding, etc.
  • Body (not always included)
What HTTP method types are there?
  • GET
  • POST
  • HEAD
  • PUT
  • DELETE
  • CONNECT
  • OPTIONS
  • TRACE
What HTTP response codes are there?
  • 1xx - informational
  • 2xx - Success
  • 3xx - Redirect
  • 4xx - Error, client fault
  • 5xx - Error, server fault
What is HTTPS?
Explain HTTP Cookies

HTTP is stateless. To share state, we can use Cookies.

TODO: explain what is actually a Cookie

What is HTTP Pipelining?
You get "504 Gateway Timeout" error from an HTTP server. What does it mean?

The server didn't receive a response from another server it communicates with in a timely manner.

What is a proxy?
What is a reverse proxy?
What is CDN?
When you publish a project, you usually publish it with a license. What types of licenses are you familiar with and which one do you prefer to use?
Explain what is "X-Forwarded-For"

Wikipedia: "The X-Forwarded-For (XFF) HTTP header field is a common method for identifying the originating IP address of a client connecting to a web server through an HTTP proxy or load balancer."

Load Balancers

What is a load balancer?

A load balancer accepts (or denies) incoming network traffic from a client, and based on some criteria (application related, network, etc.) it distributes those communications out to servers (at least one).

Why to used a load balancer?
  • Scalability - using a load balancer, you can possibly add more servers in the backend to handle more requests/traffic from the clients, as opposed to using one server.
  • Redundancy - if one server in the backend dies, the load balancer will keep forwarding the traffic/requests to the second server so users won't even notice one of the servers in the backend is down.
What load balancer techniques/algorithms are you familiar with?
  • Round Robin
  • Weighted Round Robin
  • Least Connection
  • Weighted Least Connection
  • Resource Based
  • Fixed Weighting
  • Weighted Response Time
  • Source IP Hash
  • URL Hash
What are the drawbacks of round robin algorithm in load balancing?
  • A simple round robin algorithm knows nothing about the load and the spec of each server it forwards the requests to. It is possible, that multiple heavy workloads requests will get to the same server while other servers will got only lightweight requests which will result in one server doing most of the work, maybe even crashing at some point because it unable to handle all the heavy workloads requests by its own.
  • Each request from the client creates a whole new session. This might be a problem for certain scenarios where you would like to perform multiple operations where the server has to know about the result of operation so basically, being sort of aware of the history it has with the client. In round robin, first request might hit server X, while second request might hit server Y and ask to continue processing the data that was processed on server X already.
What is an Application Load Balancer?
In which scenarios would you use ALB?
At what layers a load balancer can operate?

L4 and L7

Can you perform load balancing without using a dedicated load balancer instance?

Yes, you can use DNS for performing load balancing.

What is DNS load balancing? What its advantages? When would you use it?

Load Balancers - Sticky Sessions

What are sticky sessions? What are their pros and cons?

Recommended read:

Cons:

  • Can cause uneven load on instance (since requests routed to the same instances) Pros:
  • Ensures in-proc sessions are not lost when a new request is created
Name one use case for using sticky sessions

You would like to make sure the user doesn't lose the current session data.

What sticky sessions use for enabling the "stickiness"?

Cookies. There are application based cookies and duration based cookies.

Explain application-based cookies
  • Generated by the application and/or the load balancer
  • Usually allows to include custom data
Explain duration-based cookies
  • Generated by the load balancer
  • Session is not sticky anymore once the duration elapsed

Load Balancers - Load Balancing Algorithms

Explain each of the following load balancing techniques
  • Round Robin
  • Weighted Round Robin
  • Least Connection
  • Weighted Least Connection
  • Resource Based
  • Fixed Weighting
  • Weighted Response Time
  • Source IP Hash
  • URL Hash

Explain use case for connection draining?
To ensure that a Classic Load Balancer stops sending requests to instances that are de-registering or unhealthy, while keeping the existing connections open, use connection draining. This enables the load balancer to complete in-flight requests made to instances that are de-registering or unhealthy.

The maximum timeout value can be set between 1 and 3,600 seconds on both GCP and AWS.

Licenses

Are you familiar with "Creative Commons"? What do you know about it?
Explain the differences between copyleft and permissive licenses

In Copyleft, any derivative work must use the same licensing while in permissive licensing there are no such condition. GPL-3 is an example of copyleft license while BSD is an example of permissive license.

Random

How a search engine works?
How auto completion works?
What is faster than RAM?

CPU cache. Source

What is a memory leak?
What is your favorite protocol?

SSH HTTP DHCP DNS ...

What is Cache API?
What is the C10K problem? Is it relevant today?

https://idiallo.com/blog/c10k-2016

Storage

What types of storage formats are there?
  • File
  • Block
  • Object
What types of storage devices are there?
Explain IOPS
Explain storage throughput
What is a filesystem?
Explain Dark Data

Questions you CAN ask

A list of questions you as a candidate can ask the interviewer during or after the interview. These are only a suggestion, use them carefully. Not every interviewer will be able to answer these (or happy to) which should be perhaps a red flag warning for your regarding working in such place but that's really up to you.

What do you like about working here?
How does the company promote personal growth?
What is the current level of technical debt you are dealing with?

Be careful when asking this question - all companies, regardless of size, have some level of tech debt. Phrase the question in the light that all companies have the deal with this, but you want to see the current pain points they are dealing with

This is a great way to figure how managers deal with unplanned work, and how good they are at setting expectations with projects.

Why I should NOT join you? (or 'what you don't like about working here?')
What was your favorite project you've worked on?

This can give you insights in some of the cool projects a company is working on, and if you would enjoy working on projects like these. This is also a good way to see if the managers are allowing employees to learn and grow with projects outside of the normal work you'd do.

If you could change one thing about your day to day, what would it be?

Similar to the tech debt question, this helps you identify any pain points with the company. Additionally, it can be a great way to show how you'd be an asset to the team.

For Example, if they mention they have problem X, and you've solved that in the past, you can show how you'd be able to mitigate that problem.

Let's say that we agree and you hire me to this position, after X months, what do you expect that I have achieved?

Not only this will tell you what is expected from you, it will also provide big hint on the type of work you are going to do in the first months of your job.

Testing

Explain white-box testing
Explain black-box testing
What are unit tests?
What types of tests would you run to test a web application?
Explain test harness?
What is A/B testing?
What is network simulation and how do you perform it?
What types of performances tests are you familiar with?
Explain the following types of tests:
  • Load Testing
  • Stress Testing
  • Capacity Testing
  • Volume Testing
  • Endurance Testing

Databases

Name Topic Objective & Instructions Solution Comments
Message Board Tables Relational DB Tables Exercise Solution
What is a relational database?
  • Data Storage: system to store data in tables
  • SQL: programming language to manage relational databases
  • Data Definition Language: a standard syntax to create, alter and delete tables
What does it mean when a database is ACID compliant?

ACID stands for Atomicity, Consistency, Isolation, Durability. In order to be ACID compliant, the database must meet each of the four criteria

Atomicity - When a change occurs to the database, it should either succeed or fail as a whole.

For example, if you were to update a table, the update should completely execute. If it only partially executes, the update is considered failed as a whole, and will not go through - the DB will revert back to it's original state before the update occurred. It should also be mentioned that Atomicity ensures that each transaction is completed as it's own stand alone "unit" - if any part fails, the whole statement fails.

Consistency - any change made to the database should bring it from one valid state into the next.

For example, if you make a change to the DB, it shouldn't corrupt it. Consistency is upheld by checks and constraints that are pre-defined in the DB. For example, if you tried to change a value from a string to an int when the column should be of datatype string, a consistent DB would not allow this transaction to go through, and the action would not be executed

Isolation - this ensures that a database will never be seen "mid-update" - as multiple transactions are running at the same time, it should still leave the DB in the same state as if the transactions were being run sequentially.

For example, let's say that 20 other people were making changes to the database at the same time. At the time you executed your query, 15 of the 20 changes had gone through, but 5 were still in progress. You should only see the 15 changes that had completed - you wouldn't see the database mid-update as the change goes through.

Durability - Once a change is committed, it will remain committed regardless of what happens (power failure, system crash, etc.). This means that all completed transactions must be recorded in non-volatile memory.

Note that SQL is by nature ACID compliant. Certain NoSQL DB's can be ACID compliant depending on how they operate, but as a general rule of thumb, NoSQL DB's are not considered ACID compliant

What is sharding?

Sharding is a horizontal partitioning.

Are you able to explain what is it good for?

You find out your database became a bottleneck and users experience issues accessing data. How can you deal with such situation?

Not much information provided as to why it became a bottleneck and what is current architecture, so one general approach could be
to reduce the load on your database by moving frequently-accessed data to in-memory structure.

What is a connection pool?

Connection Pool is a cache of database connections and the reason it's used is to avoid an overhead of establishing a connection for every query done to a database.

What is a connection leak?

A connection leak is a situation where database connection isn't closed after being created and is no longer needed.

What is Table Lock?
Your database performs slowly than usual. More specifically, your queries are taking a lot of time. What would you do?
  • Query for running queries and cancel the irrelevant queries
  • Check for connection leaks (query for running connections and include their IP)
  • Check for table locks and kill irrelevant locking sessions
What is a Data Warehouse?

"A data warehouse is a subject-oriented, integrated, time-variant and non-volatile collection of data in support of organisation's decision-making process"

Explain what is a time-series database
What is OLTP (Online transaction processing)?
What is OLAP (Online Analytical Processing)?
What is an index in a database?

A database index is a data structure that improves the speed of operations in a table. Indexes can be created using one or more columns, providing the basis for both rapid random lookups and efficient ordering of access to records.

What data types are there in relational databases?
Explain Normalization

Data that is used multiple times in a database should be stored once and referenced with a foreign key.
This has the clear benefit of ease of maintenance where you need to change a value only in a single place to change it everywhere.

Explain Primary Key and Foreign Key

Primary Key: each row in every table should a unique identifier that represents the row.
Foreign Key: a reference to another table's primary key. This allows you to join table together to retrieve all the information you need without duplicating data.

What types of data tables have you used?
  • Primary data table: main data you care about
  • Details table: includes a foreign key and has one to many relationship
  • Lookup values table: can be one table per lookup or a table containing all the lookups and has one to many relationship
  • Multi reference table
What is ORM? What benefits it provides in regards to relational databases usage?

Wikipedia: "is a programming technique for converting data between incompatible type systems using object-oriented programming languages"

In regards to the relational databases:

  • Database as code
  • Database abstraction
  • Encapsulates SQL complexity
  • Enables code review process
  • Enables usage as a native OOP structure
What is DDL?

Wikipedia: "In the context of SQL, data definition or data description language (DDL) is a syntax for creating and modifying database objects such as tables, indices, and users."

Regex

Given a text file, perform the following exercises

Extract

Extract all the numbers
Extract the first word of each line

Bonus: extract the last word of each line

Extract all the IP addresses
Extract dates in the format of yyyy-mm-dd or yyyy-dd-mm
Extract email addresses

Replace

Replace tabs with four spaces
Replace 'red' with 'green'

System Design

Explain what is a "Single point of failure"?
Explain "3-Tier Architecture" (including pros and cons)
What are the drawbacks of monolithic architecture?
  • Not suitable for frequent code changes and the ability to deploy new features
  • Not designed for today's infrastructure (like public clouds)
  • Scaling a team to work monolithic architecture is more challenging
What are the advantages of microservices architecture over a monolithic architecture?
  • Each of the services individually fail without escalating into an application-wide outage.
  • Each service can be developed and maintained by a separate team and this team can choose its own tools and coding language
What's a service mesh?

This article provides a great explanation.

Explain "Loose Coupling"
What is a message queue? When is it used?

Scalability

Explain Scalability

The ability easily grow in size and capacity based on demand and usage.

Explain Elasticity

The ability to grow but also to reduce based on what is required

Explain Disaster Recovery
Explain Fault Tolerance and High Availability

Fault Tolerance - The ability to self-heal and return to normal capacity. Also the ability to withstand a failure and remain functional.

High Availability - Being able to access a resource (in some use cases, using different platforms)

What is the difference between high availability and Disaster Recovery?

wintellect.com: "High availability, simply put, is eliminating single points of failure and disaster recovery is the process of getting a system back to an operational state when a system is rendered inoperative. In essence, disaster recovery picks up when high availability fails, so HA first."

Explain Vertical Scaling

Vertical Scaling is the process of adding resources to increase power of existing servers. For example, adding more CPUs, adding more RAM, etc.

What are the disadvantages of Vertical Scaling?

With vertical scaling alone, the component still remains a single point of failure. In addition, it has hardware limit where if you don't have more resources, you might not be able to scale vertically.

Which type of cloud services usually support vertical scaling?

Databases, cache. It's common mostly for non-distributed systems.

Explain Horizontal Scaling

Horizontal Scaling is the process of adding more resources that will be able handle requests as one unit

What is the disadvantage of Horizontal Scaling? What is often required in order to perform Horizontal Scaling?

A load balancer. You can add more resources, but if you would like them to be part of the process, you have to serve them the requests/responses. Also, data inconsistency is a concern with horizontal scaling.

Explain in which use cases will you use vertical scaling and in which use cases you will use horizontal scaling
Explain Resiliency and what ways are there to make a system more resilient
Explain "Consistent Hashing"
How would you update each of the services in the following drawing without having app (foo.com) downtime?

What is the problem with the following architecture and how would you fix it?

The load on the producers or consumers may be high which will then cause them to hang or crash.
Instead of working in "push mode", the consumers can pull tasks only when they are ready to handle them. It can be fixed by using a streaming platform like Kafka, Kinesis, etc. This platform will make sure to handle the high load/traffic and pass tasks/messages to consumers only when the ready to get them.

Users report that there is huge spike in process time when adding little bit more data to process as an input. What might be the problem?

How would you scale the architecture from the previous question to hundreds of users?

Cache

What is "cache"? In which cases would you use it?
What is "distributed cache"?
What is a "cache replacement policy"?

Take a look here

Which cache replacement policies are you familiar with?

You can find a list here

Explain the following cache policies:
  • FIFO
  • LIFO
  • LRU

Read about it here

Why not writing everything to cache instead of a database/datastore?

Migrations

How you prepare for a migration? (or plan a migration)

You can mention:

roll-back & roll-forward cut over dress rehearsals DNS redirection

Explain "Branch by Abstraction" technique

Design a system

Can you design a video streaming website?
Can you design a photo upload website?
How would you build a URL shortener?

More System Design Questions

Additional exercises can be found in system-design-notebook repository.

Hardware

What is a CPU?

A central processing unit (CPU) performs basic arithmetic, logic, controlling, and input/output (I/O) operations specified by the instructions in the program. This contrasts with external components such as main memory and I/O circuitry, and specialized processors such as graphics processing units (GPUs).

What is RAM?

RAM (Random Access Memory) is the hardware in a computing device where the operating system (OS), application programs and data in current use are kept so they can be quickly reached by the device's processor. RAM is the main memory in a computer. It is much faster to read from and write to than other kinds of storage, such as a hard disk drive (HDD), solid-state drive (SSD) or optical drive.

What is an embedded system?

An embedded system is a computer system - a combination of a computer processor, computer memory, and input/output peripheral devices—that has a dedicated function within a larger mechanical or electronic system. It is embedded as part of a complete device often including electrical or electronic hardware and mechanical parts.

Can you give an example of an embedded system?

Raspberry Pi

What types of storage are there?

Big Data

Explain what is exactly Big Data

As defined by Doug Laney:

  • Volume: Extremely large volumes of data
  • Velocity: Real time, batch, streams of data
  • Variety: Various forms of data, structured, semi-structured and unstructured
  • Veracity or Variability: Inconsistent, sometimes inaccurate, varying data
What is DataOps? How is it related to DevOps?

DataOps seeks to reduce the end-to-end cycle time of data analytics, from the origin of ideas to the literal creation of charts, graphs and models that create value. DataOps combines Agile development, DevOps and statistical process controls and applies them to data analytics.

What is Data Architecture?

An answer from talend.com:

"Data architecture is the process of standardizing how organizations collect, store, transform, distribute, and use data. The goal is to deliver relevant data to people who need it, when they need it, and help them make sense of it."

Explain the different formats of data
  • Structured - data that has defined format and length (e.g. numbers, words)
  • Semi-structured - Doesn't conform to a specific format but is self-describing (e.g. XML, SWIFT)
  • 非構造化-特定の形式(画像、テストメッセージなど)に準拠していません
データウェアハウスとは何ですか?

データウェアハウスに関するウィキペディアの説明データウェアハウスに関する アマゾンの説明

データレイクとは何ですか?

データレイク-ウィキペディア

データレイクとデータウェアハウスの違いを説明できますか?
「データバージョン管理」とは何ですか?「データバージョン管理」のモデルは何ですか?
ETLとは何ですか?

Apache Hadoop

Hadoopとは何かを説明する

ApacheHadoop-ウィキペディア

HadoopYARNについて説明する

クラスタ内のコンピューティングリソースの管理とユーザーのアプリケーションのスケジューリングを担当します

HadoopMapReduceについて説明する

大規模データ処理のためのプログラミングモデル

Hadoop分散ファイルシステム(HDFS)について説明する
  • クラスタ全体で高い集約帯域幅を提供する分散ファイルシステム。
  • ユーザーにとっては通常のファイルシステム構造のように見えますが、舞台裏ではクラスター内の複数のマシンに分散されています
  • 一般的なファイルサイズはTBであり、拡張可能で、数百万のファイルをサポートします
  • フォールトトレラントであるため、障害からの自動回復が可能です。
  • ライブ分析よりも長いバッチ操作を実行するのに最適です
HDFSアーキテクチャについて何を知っていますか?

HDFSアーキテクチャ

  • マスタースレーブアーキテクチャ
  • Namenode-マスター、Datanodes-スレーブ
  • ファイルはブロックに分割されます
  • データノードに保存されているブロック
  • Namenodeはすべてのメタデータを制御します

Ceph

Cephとは何かを説明する
正しいか間違っているか?Cephは、パフォーマンスよりも一貫性と正確性を優先します
真実
Cephがサポートするサービスまたはストレージのタイプはどれですか?
  • オブジェクト(RGW)
  • ブロック(RBD)
  • ファイル(CephFS)
RADOSとは何ですか?
  • 信頼性の高い自律分散オブジェクトストレージ
  • 低レベルのデータオブジェクトストレージサービスを提供します
  • 強一貫性
  • 上位層(ブロック、ファイル、オブジェクト)の設計と実装を簡素化します
RADOSソフトウェアコンポーネントについて説明する
  • モニター
    • 認証、データ配置、ポリシーの中央機関
    • 他のすべてのクラスターコンポーネントの調整ポイント
    • Paxosで重要なクラスター状態を保護する
  • マネジャー
    • リアルタイムのメトリック(スループット、ディスク使用量など)を集約します
    • プラグ可能な管理機能のホスト
    • クラスタごとに1つのアクティブ、1つ以上のスタンバイ
  • OSD(オブジェクトストレージデーモン)
    • HDDまたはSSDにデータを保存します
    • クライアントIO要求にサービスを提供
Cephからデータを取得するワークフローは何ですか?
Cephからデータを取得するワークフローは何ですか?
「プレースメントグループ」とは何ですか?
次の詳細を説明してください:オブジェクト->プール->配置グループ-> OSD
OMAPとは何ですか?
メタデータサーバーとは何ですか?使い方?

パッカー

パッカーとは何ですか?それは何のために使われますか?

一般に、Packerはマシンイメージの作成を自動化します。これにより、イメージを作成する際に、展開前の構成に集中できます。これにより、ほとんどの場合、インスタンスをはるかに高速に開始できます。

Packerは、「構成->展開」モデルまたは「展開->構成」に従いますか?

次のようないくつかの利点がある構成->デプロイメント。

  1. 展開速度-展開するたびに構成するのではなく、展開前に1回構成します。これにより、インスタンス/サービスをより迅速に開始できます。
  2. より不変のインフラストラクチャ-構成->デプロイメントでは、ほとんどの構成がデプロイメントの前に行われるため、デプロイメントが大きく異なる可能性はほとんどありません。依存関係エラーなどの問題は、このモデルにデプロイする前に処理/発見されます。

証明書

あなたが特定の試験の準備をする方法を探しているなら、これはあなたのためのセクションです。ここには、証明書のリストがあります。各証明書は、試験の準備に役立つ焦点を絞った質問を含む個別のファイルを参照しています。幸運を :)

AWS

Azure

  • AZ-900(最新アップデート:2021)

Kubernetes

その他のDevOpsプロジェクト

クレジット

誰もが新しいことを簡単に学べるようにしてくれた素晴らしい貢献者のすべてに感謝します:)

ロゴクレジットはここにあります

ライセンス

ライセンス:CC BY-NC-ND 3.0